Mohamed is available for hire

Mohamed Ahmed

Verified Expert in Engineering

大数据架构师和后端开发人员

Location

Berlin, Germany

Toptal Member Since

November 4, 2022

Mohamed是一名大数据平台架构师，在IT行业拥有15年的经验. 他擅长分布式系统、数据工程、机器学习和DevOps. Mohamed为利益相关者构建强大的批处理和实时数据平台，并将公司转移到最先进的数据平台. 他设计了符合gdpr的数据湖，并优化了ETL管道, 这为客户每年节省了数十万美元. Mohamed很务实，思维敏捷.

Big Data Data Engineering Big Data Architecture Data Migration GDPR Cloud Migration Apache Maven Java SQL Apache Spark Scala Data Pipelines ETL Spark NoSQL Apache Kafka Struts HDFS JAX-WS

Portfolio

Mobile.de

Apache Spark, Scala, Apache Kafka, BigQuery, 谷歌云平台(GCP)...

Careem Networks FZ

Apache Spark, Apache Airflow, Scala, Python, Apache Livy, Jupyter Notebook...

Searchmetrics gmbh

Amazon Web Services, RabbitMQ, Apache Spark, Apache Zeppelin, Java...

Experience

SQL - 11 years 数据工程- 7年 Apache Spark - 7 years Scala - 7 years Apache Kafka - 5 years Python - 4 years 谷歌云平台(GCP) - 3年 BigQuery - 3 years

Availability

Full-time

Preferred Environment

Linux, Slack, Jira, GitHub, 谷歌云平台(GCP), Apache Kafka, Data Engineering, 亚马逊网络服务(AWS), Big Data, Big Data Architecture

The most amazing...

...我所交付的项目需要调优一个微服务以服务超过100个用户,每个请求在20毫秒内达到每秒000个请求.

Work Experience

Big Data Architect

2020 - PRESENT

Mobile.de

Designed, led, 指导公司数据平台从本地基础设施迁移到公共云(GCP)，为利益相关者节省30%的日常营业时间.
构建和设计符合GDPR要求的数据湖，对下游用户的影响最小.
计划和监控数十个项目的GCP预算, 这导致了一个准确的花费成本.

技术:Apache Spark, Scala, Apache Kafka, BigQuery, 谷歌云平台(GCP), Python, Delta Lake, Data Processing, Kafka Streams, GDPR, Apache Airflow, Google Cloud SQL, Google Cloud Functions, Kubernetes, 目录数据输入服务, Apache Cassandra, PostgreSQL, Cloud Run, Apache Flume, Linux, Spark Streaming, MongoDB, Data Engineering, Data Pipelines, ETL, ELT, SQL, Jira, GitHub, Redshift, Pub/Sub, Data Modeling, Data Architecture, Spark, 用户定义函数(UDF), Data Governance, Data Strategy, Big Data, Big Data Architecture, Databricks, Snowflake, Architecture, Data-driven Design, NoSQL, Database Architecture, 技术项目管理, AWS Glue, Apache Maven, Solution Architecture, Data Build Tool (dbt), Google BigQuery, Cloud Migration, Data Migration, Google Cloud, PySpark

Staff Data Engineer

2018 - 2020

Careem Networks FZ

开发了一个ETL框架，使数据处理管道自动化，每天运行数百个ETL.
优化ETL管道，每年节省数十万美元.
建立数据学院，帮助全栈工程师增长数据工程知识.

技术:Apache Spark, Apache Airflow, Scala, Python, Apache Livy, Jupyter Notebook, Apache Zeppelin, Amazon Elastic MapReduce (EMR), Apache Hive, Presto, Kafka Streams, Data Processing, Linux, Data Engineering, Data Pipelines, ETL, ELT, Amazon S3 (AWS S3), Data Structures, SQL, Deep Learning, Jira, GitHub, Data Modeling, Data Architecture, Spark, 用户定义函数(UDF), Big Data, Pandas, 亚马逊网络服务(AWS), AWS Lambda, Big Data Architecture, Architecture, Data Integration, Database Modeling, NoSQL, Amazon DynamoDB, Database Architecture, Apache Maven, Solution Architecture, EMR, PySpark, AWS认证解决方案架构师, 亚马逊虚拟私有云(VPC)

高级软件工程师和大数据

2017 - 2018

Searchmetrics gmbh

为数十亿条消息和记录设计并开发了具有挑战性的数据管道.
设计了ETL框架来处理许多源和汇.
展示新技术并与我的团队进行讨论.

Technologies: Amazon Web Services, RabbitMQ, Apache Spark, Apache Zeppelin, Java, Apache Kafka, Spark Streaming, Apache Flink, MySQL, Hadoop, Apache Hive, Scala, Spring Boot, Data Processing, Linux, Data Engineering, Data Pipelines, ETL, ELT, Amazon S3 (AWS S3), Data Structures, Amazon Elastic MapReduce (EMR), SQL, Jira, GitHub, Data Modeling, Spark, 用户定义函数(UDF), Big Data, Data Integration, Microservices, NoSQL, Database Architecture, Apache Maven, EMR, RESTful Microservices, AWS认证解决方案架构师, Amazon EC2, 亚马逊虚拟私有云(VPC)

高级软件工程师和大数据

2015 - 2017

Agoda

开发并优化了推荐微服务，以每秒接受数百万个请求，成功率为99%.整个请求过程在20毫秒内完成.
设计并开发了一个响应式DAG框架，用于构建Akka参与者和未来的任何逻辑流.
协助数据科学家团队使用ETL管道进行ML离线培训.

技术:Apache Spark, Hadoop, Scala, Akka, Data Processing, Apache Cassandra, PostgreSQL, Linux, Data Engineering, Data Pipelines, ETL, ELT, Data Structures, SQL, Jira, Django, HDFS, Data Modeling, Spark, 用户定义函数(UDF), Big Data, APIs, Data Integration, Microservices, Database Architecture, Apache Maven, Oozie, RESTful Microservices

Back-end Specialist

2014 - 2015

CIT global

使用AspectJ开发了一个日志服务，跟踪MongoDB上的所有应用程序操作.
使用控制支付步骤的Mule ESB开发了一个电子支付工作流.
创建了一个钱包支付微服务，可以跨银行账户转账支付.

Technologies: Java, MongoDB, JAX-WS, EJB3, Hibernate, Oracle Database, SQL, Apache Cassandra, Stored Procedure, APIs, Microservices, Database Architecture, Apache Maven, RESTful Microservices

Senior Java Developer

2010 - 2014

E-Finance

Developed back-end and front-end payment services using multiple frameworks; ADF, Struts, and ICEfaces.
使用Jasper Reporting工具创建业务报告.
从DB ER关系图创建的已构建和自动化管理页面.

技术:Oracle ADF, Apache Struts, EJB3, JPA 2, JAX-WS, Oracle PL/SQL, Quartz, Oracle Database, Ajax, SQL, Web Services, Data Modeling, Stored Procedure, APIs, Apache Maven

服务信息开发人员

2009 - 2010

HP Inc

使用Servlet和JSP构建销售(EPOS)客户端应用程序验证器的端点, 它可以验证大XML文件并返回无效标记.
编写用户教程，指导用户使用新功能，提高客户接受率.
为帮助新用户熟悉内部工具的内部开发社区做出贡献.

Technologies: Servlet, JAX-RPC, 用于XML处理的Java API, Hibernate, Ajax, Web Services, JAX-WS, APIs

Java Developer

2007 - 2009

Networks Valley

创建一个自定义工资单桌面应用程序，处理复杂的工资单逻辑和生成公司工资单报告.
设计了一项创新的家庭服务，可以监控智能家居，并向房主发送移动通知.
建立了一个PCL接口应用程序，用于控制发电厂的设备.

技术:Servlet, Hibernate, Ajax, Microsoft SQL Server, Java, SQL, JPA

Experience

本地到公共云(GCP)迁移

我们在私有云中经历了各种限制, 所以我们决定转向公共云(GCP). 我主动去设计, lead, 并在整个公司内构建迁移，成为新数据平台基础设施的一个很好的例子.

我收集并与利益相关者讨论痛点, 创建通用架构ADR, 与我的团队和利益相关者一起审查新设计, and collected feedback. Next, 我估算了预算，并与技术主管进行了讨论, 消除执行障碍, and modified open-source frameworks to fit our needs; for example, 我向Atlas数据目录框架添加了一个新特性来支持delta-lake. 我和我的团队一起回顾了路线图，并将其分解为史诗和平行故事, 当发生阻塞时，他跳过去帮忙, 并从数据的角度与公司的不同团队讨论最佳实践.

实时分析服务

这个实时分析工具根据使用Kafka和Spark-streaming框架的可配置输入，从事件流中提取用户跟踪指标.

我设计了一个满足涉众需求的实时解决方案, tuned the reader service to achieve <100 milliseconds latency in the 99.99个成功率百分位数, 并介绍了项目在混合云环境下运行时的网络解决方案.

构建市场数据平台

我与三个国家的团队合作，定义共同的痛点并引入新的解决方案. 这包括为新解决方案创建POC/RFC, 与团队讨论解决方案, 与团队和项目经理合作制定执行计划, 指导数据学院成员, 构建标准工具，加快开发时间.

Keyword Ranking

我设计和开发了创新的流和批数据处理项目，以提高我们的客户在许多国家，许多语言的多个搜索引擎中数百万关键词的排名.

我为数十亿条消息和记录创建了一个可变的数据管道，并设计了ETL框架来处理许多源和汇. 我展示了新技术，并与团队进行了讨论. 我调整了作业以适应我们的集群，审查了代码，并获得了项目的所有权.

响应式框架(Jarvis)

Jarvis是一个响应式DAG框架，用于构建Akka参与者和未来的逻辑流. 我与所有相关团队一起审查了需求，以简化和删除重复的功能. 我设计并构建了一个DAG解决方案，以响应模式简化和服务我们的业务逻辑单元. 我提出了解决方案并帮助团队使用它.

Hotel Recommendation

我设计并开发了一个基于用户偏好对酒店进行排名的创新项目. 协助数据科学家收集数据应用线下培训，并设计构建了将ALS模型复制到5个数据中心的解决方案. 我创建了一个分布式和本地缓存解决方案，将ML模型保存在内存中. 这在最坏的情况下实现了4毫秒的响应时间. 我在同一个数据中心的服务器之间开发了一个负载平衡器, 应用我们的DAG框架(Jarvis)来构建我们的排名服务, 并将微服务调整为以99%的成功率接受数百万个请求.99. 然后，我审计了客户与微服务的交互，以便将其用于模型评估，并为生产和阶段服务器配置了部署脚本.

招标渠道ROI经理

这是一个后端项目，用于管理谷歌和TripAdvisor等公司的竞标渠道工作. 我和软件架构师一起审查了设计, 并构建了渠道的动态实现, accounts, sync data, 以及Oozie和HDFS客户端. 我构建了迁移脚本，并为生产配置了部署环境.

Skills

Languages

Java, Scala, SQL, HTML, Python, Snowflake, C, c#， VHDL, Pascal，存储过程

Frameworks

Apache Spark, Spark, Hadoop, Akka, Presto, Spring Boot, Hibernate, Oracle ADF, Apache Struts, Django

Libraries/APIs

PySpark, JPA 2, Spark Streaming, JAX-WS, JAX-RPC, Pandas, Quartz，用于XML处理的Java API (JAXP)

Tools

Apache Airflow, Apache Maven, Kafka Streams, BigQuery, Slack, Jira, GitHub, Servlet, Amazon Elastic MapReduce (EMR), Oozie, RabbitMQ, Apache Beam, Amazon EKS, AWS Glue, 亚马逊虚拟私有云(VPC)

Paradigms

ETL，数据驱动设计，微服务

Platforms

谷歌云平台(GCP), Apache Kafka, 亚马逊网络服务(AWS), Linux, Jupyter Notebook, Apache Flink, Oracle Database, AWS Lambda, Amazon EC2, Kubernetes, Cloud Run, Databricks

Storage

Data Pipelines, NoSQL, Google Cloud, Google Cloud SQL, MySQL, PostgreSQL, Apache Hive, MongoDB, Oracle PL/SQL, Microsoft SQL Server, HDFS, Amazon S3 (AWS S3), Redshift, Data Integration, Amazon DynamoDB, Database Architecture, Database Modeling

Other

Data Processing, GDPR, Data Engineering, ELT, Data Architecture, Big Data, Big Data Architecture, Architecture, Solution Architecture, Google BigQuery, Cloud Migration, Data Migration, Ajax, Web Services, Algorithms, Data Structures, Graph Algorithms, Delta Lake, Google Cloud Functions, 目录数据输入服务, Apache Cassandra, Apache Livy, Apache Zeppelin, EJB3, Atlas, Pub/Sub, Data Modeling, 用户定义函数(UDF), Data Governance, Data Strategy, APIs, EMR, RESTful Microservices, AWS认证解决方案架构师, Microprocessors, 单片机编程, Java卡开放平台(JCOP), Deep Learning, Apache Flume, 技术项目管理, Data Build Tool (dbt)

Education

2002 - 2007

电气工程学士学位

法尤姆大学——埃及

Certifications

DECEMBER 2018 - PRESENT

Algorithms on Graphs

Coursera

JUNE 2018 - PRESENT

深度学习专业化

Coursera

2017年2月至今

Data Structures

Coursera

JANUARY 2017 - PRESENT

Algorithmic Toolbox

Coursera

JULY 2014 - PRESENT

OCE Java EE 6 EJB 3.x (1Z0-895)

Oracle

MAY 2014 - PRESENT

OCE Java EE 6 Web Service (1Z0-897)

Oracle

2013年11月至今

Java持久化API 2.0 - EE 6 (1Z0-898)

Oracle

MAY 2008 - PRESENT

Sun认证Web组件开发人员scwcd5 (310-083)

Sun Microsystems

AUGUST 2006 - PRESENT

Sun Java5认证SCJP 5 (310-055)

Sun Microsystems

有效的合作

How to Work with Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

Share your needs

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.

Choose your talent

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

Start hiring