ido tech

https://www.linkedin.com/in/ido-lavi-05a769155

בעסק טכנולוגי שאני מוביל התחלנו בשימוש production בec2, לאחר מכן עברנו לk8s.
ניהלתי security groups, policies וגישה לpostgres (amazon RDS) דרך מכונות הec2. בניתי ארכיטקטורה ייחודית ומוגנת

הקמה וניהול תשתיות אלסטיק בגודל של 0.5PB
ניסיון רב בשליפות אלסטיק, כתיבות בscale וניהול סביבות

ניסיון באוטומציות עם gitlab ci בהקמת תשתיות בaws ובmonitoring.

ניסיון בפיתוח בreact עם שימוש בjs, css, html. נסיון פיתוח backend בjs

נסיון בעיקר רחב (ידע בהרבה מאוד שפות קוד וטכנולוגיות)

כחלק מעסק טכנולוגי שאני מוביל כיום אנו משתמשים בpostgres להנגיש את המידע שלנו לאחר עיבוד. משתמשים בpostgresql מנוהל בaws, כותבים וקוראים ממנו באמצעות קוד פייתון ומשתמשים בsqlalchemy.

במהלך השירות הצבאי שלי ביחידה מסווגת ניהלנו והקמנו תשתית המתמודדת עם מליארדי מסמכים ביום, פיתחנו תשתית python מעל kubernetes שמושכת מkafka מידע לא מפורסר ויודעת לפרסר ולהעשיר אותו בscale, ולאחר מכן מנגישה ללקוחות את המידע בelasticsearch וhadoop. לאחר מכן בניתי ארכיטקטורות דומות בחברות סטראטאפ.

7+ שנים ניסיון בפיתוח פייתון לצרכי backend וdata engineer. פיתחתי מערכות מורכבות המערבות kafka, redis, postgres בscaleים מאוד גבוהים

במהלך שירותי הצבאי ביחידה מסווגת הקמתי וניהלתי תשתית hadoop עם 5PB מידע.
- ניהלתי עשרות spark workflows כדי לאחד קבצים ולהמיר אותם לformat parquet
- הנגשנו ללקוחות יכולות מתקדמות להרצת etlים בspark שמאחורי הקלעים רצו בairflow.

נסיון בבניית backend עם nodejs

ניסיו רב בבניית backendים מורכבים וfrontendים

ניסיון רב בפיתוח frontend עם react. פיתחתי מערכות מורכבות עם מאות לקוחות

ניסיון רב בהקמת apiים עם express בכל שלב בקריירה.

נסיון רב בפיתוח backend

כחלק מעסק טכנולוגי שאני מוביל כיום בתחום הסקרייפינג על רשתות חברתיות, אני משתמש בשירותי scraping רבים ביניהם: bright data, apify, nimble.
בנוסף לפיתוח scraperים באמצעות proxyים כדי להמנע מחסימות על גבי תשתיות proxy של nimble, smartproxy, proxy empire.
מסוגל לייעץ ולפתח בתחום.

ניסיון בreact

ניסיון בפיתוח backend בפייתון וjs