DevJobs

Data Engineer

Overview
Skills
  • SQL SQL
  • Python Python
  • Spark Spark
  • Git Git
  • Azure Databricks
  • Unity Catalog
  • PySpark
  • Delta Lake
  • Databricks Workflows
  • Databricks Jobs
  • Data Pipelines
  • Data Modeling
  • CI
  • CD
  • Delta Live Tables
  • MLflow
  • Structured Streaming
  • Autoloader

אנחנו מגייסים את ה-Data Engineer הבא/ה שלנו!

אנחנו מחפשים Data Engineer מנוסה להצטרף לצוות הדאטה שלנו ולהיות שותף מרכזי בהקמה, פיתוח ותפעול של פלטפורמת Data & AI ארגונית מתקדמת בסביבת Azure

במסגרת התפקיד :

תכנון, פיתוח ותפעול Lakehouse ארגוני על גבי Azure Databricks

בניית Data Pipelines מודרניים מקצה לקצה על בסיס Delta Lake במודל Bronze / Silver / Gold

פיתוח תהליכי Data Ingestion חכמים ממערכות ליבה, APIs ו־Event Streams, כולל Incremental Loading ו־CDC

עבודה עם Unity Catalog לניהול Data Governance, הרשאות, Lineage ושיתוף נתונים מאובטח בין צוותים

שימוש יומיומי ביכולות מתקדמות של Databricks:

Workflows & Jobs

Autoloader

Delta Live Tables

Structured Streaming

עבודה שוטפת וצמודה עם Data Scientists ותמיכה ב־ML Workflows

הטמעה וניהול של MLflow:

ניהול ניסויים

Model Tracking

Versioning ו־Reproducibility

בניית סטנדרטים ארגוניים ל־Data Quality, Monitoring ו־Observability

אופטימיזציה של ביצועים ועלויות בסביבת Azure (Cluster Sizing, Caching, Partitioning)

תמיכה בהקמת AI / Data Platform ארגונית התומכת ב־Agents, Machine Learning ומוצרי דאטה

מה אנחנו מחפשים?

ניסיון של 5–3 שנים בתפקיד Data Engineer בסביבת Cloud

ניסיון מעשי משמעותי עם Azure Databricks

שליטה גבוהה ב־ Python ,SQL, Spark / PySpark

ניסיון בעבודה עם: Delta Lake, Unity Catalog , Databricks Workflows / Jobs

ניסיון בבניית Data Pipelines בסביבת Production , ניסיון בעבודה משותפת עם Data Scientists ו־ML Pipelines

היכרות עם MLflow לניהול מודלים וניסויים

הבנה טובה של Data Modeling בסביבת Lakehouse

ניסיון בעבודה עם Git ו־CI/CD לתהליכי דאטה

יכולת עבודה בצוות רב־תחומי, חשיבה מוצרית וראייה מערכתית על דאטה

אנחנו ממוקמים ברמת גן,

מתחם הבורסה, בסמוך לרכבת סבידור מרכז ולרכבת הקלה

Harel Insurance & Finance