Data Engineer
מספר משרה: 4757
גוש דן
מלאה
דאטה ואנליזה
פרטי משרה
איך ייראה היומיום שלך?
- תכנון, פיתוח ותפעול Lakehouse ארגוני על גבי Azure Databricks
- בניית Data Pipelines מודרניים מקצה לקצה על בסיס Delta Lake במודל Bronze / Silver / Gold
- פיתוח תהליכי Data Ingestion חכמים ממערכות ליבה, APIs ו־Event Streams, כולל Incremental Loading ו־CDC
- עבודה עם Unity Catalog לניהול Data Governance, הרשאות, Lineage ושיתוף נתונים מאובטח בין צוותים
- שימוש יומיומי ביכולות מתקדמות של Databricks:
- Workflows & Jobs
- Autoloader
- Delta Live Tables
- Structured Streaming
- עבודה שוטפת וצמודה עם Data Scientists ותמיכה ב־ML Workflows
- הטמעה וניהול של MLflow:
- ניהול ניסויים
- Model Tracking
- Versioning ו־Reproducibility
- בניית סטנדרטים ארגוניים ל־Data Quality, Monitoring ו־Observability
- אופטימיזציה של ביצועים ועלויות בסביבת Azure (Cluster Sizing, Caching, Partitioning)
- תמיכה בהקמת AI / Data Platform ארגונית התומכת ב־Agents, Machine Learning ומוצרי דאטה
מה אנחנו מחפשים?
- ניסיון של 3–5 שנים בתפקיד Data Engineer בסביבת Cloud
- ניסיון מעשי משמעותי עם Azure Databricks
- שליטה גבוהה ב־:
- Python
- SQL
- Spark / PySpark
- ניסיון בעבודה עם:
- Delta Lake
- Unity Catalog
- Databricks Workflows / Jobs
- ניסיון בבניית Data Pipelines בסביבת Production
- ניסיון בעבודה משותפת עם Data Scientists ו־ML Pipelines
- היכרות עם MLflow לניהול מודלים וניסויים
- הבנה טובה של Data Modeling בסביבת Lakehouse
- ניסיון בעבודה עם Git ו־CI/CD לתהליכי דאטה
- יכולת עבודה בצוות רב־תחומי, חשיבה מוצרית וראייה מערכתית על דאטה
היקף משרה:
משרה מלאה, ימים א'-ד' 8 וחצי שעות עבודה, יום ה' 6 שעות עבודה ( חמישי קצר)
אנחנו על המפה:
רמת גן, מתחם הבורסה. צמוד לרכבת סבידור מרכז ולרכבת הקלה.
