Categorie :
IT system engineer
Voor onze klant, Het Vlaams Energiebedrijf, zijn wij op zoek naar een AWS Data Engineer (SR) voor het ontwikkelingstraject van Terra en het Energieprestatieplatform.
Het Terra-platform is opgezet op Amazon Web Services en maakt gebruik van verschillende PAAS en IAAS oplossingen. Het data lake/datawarehouse dat voor allerhande rapportering- en analysedoeleinden gebruikt wordt, maakt gebruik van o.a. volgende Amazon Webservices :
- Data pipelines en EMR voor het inladen en verwerken van gegevens.
- S3 voor het opslaan van bestanden
- Amazon Redshift (DWH)
- Tableau als rapporteringsomgeving
- Athena voor querying flat files in het data lake
- SQL server als backend database van de Terra webapplicatie
- Lambda voor het runnen van backend services
- DMS voor synchronisatie van data o.a. vanuit sql server naar redshift
Zo wordt bijvoorbeeld voor het verwerken van de verbruiksgegevens die op dagelijkse basis aangeleverd worden, Python en Spark gebruikt als ETL proces om de nieuwe verbruiksgegevens in het Redshift DWH te mergen met reeds bestaande data.
Daarnaast worden koppelingen met tal van andere databronnen gelegd voor het verrijken van het datawarehouse.
Voor het versiebeheer van de code wordt GIT gebruikt en het releaseproces (dev, stg, prod) maakt gebruik van MS Devops. Deze laatste wordt ook gebruikt voor het opvolgen van sprints, user stories, taken, …
Belangrijkste verantwoordelijkheden :
- Je beheert de bestaande stack van data flows en pipelines in de AWS cloudomgeving die gebruik maakt van o.a. S3, EMR, Spark, Redshift, Lambda, Python.
- Je zal complexe data modellen (verder uit)bouwen om verder analytisch inzicht te genereren
- Je schrijft kwaliteitsvolle code om het dataplatform verder uit te bouwen. Het platform is schaalbaar en makkelijk onderhoudbaar.
- Je zal nieuwe databronnen van diverse oorsprong koppelen/integreren in de bestaande oplossing.
- Je analyseert de bestaande processen en adviseert waar performantiewinsten en kostenbesparingen kunnen behaald worden.
- Je implementeert kwaliteitscontroles van de data en alarmeert de stakeholders zodat de nodige acties kunnen genomen worden.
lle projecten binnen het VEB worden ontwikkeld volgens de Agile SCRUM methodologie. Als data engineer werk je nauw samen met de andere leden van het multidisciplinaire team.
Je rapporteert aan de projectmanager van het team.
Specifieke vaardigheden (vaktechnische competenties)
Ervaring met AWS
Ervaring met Spark
Ervaring in Python
Ervaring met Data pipelines
Ervaring met SQL Server
Ervaring met GIT
Ervaring met Redshift
Ervaring met DMS
Ervaring met EMR
Algemene vaardigheden (gedragsgerichte competenties)
Ervaring met Agile methodieken (Agile Scrum)
Zelfstandig, resultaatsgericht, betrouwbaar
Oog voor detail
Proactief
Communicatief
Team player
Analytisch, kritisch en denkt out of the box
Domeinkennis
Je hebt een geldig en relevante AWS certificatie
Je volgt technologische ontwikkelingen (en meer bepaald binnen AWS) op de voet en kan hype van waarde onderscheiden
