Apa itu Data Engineer?
Data engineer bertugas mengubah format data agar mudah dianalisa. Mereka menjalankan tugasnya dengan mengembangkan dan melakukan pengetesan terhadap infrastuktur pembuatan data. Data engineer membantu data scientist dalam menciptakan suatu konsep arsitektur data yang memungkin mereka untuk menyelesaikan pekerjaanya. Data engineer pada umumnya memiliki gelar sarjana di bidang teknik informatika dan matematika terapan. Sebagian perusahaan juga mewajibkan kepemilikan sertifikasi rekayasa data dari institusi ternama, seperti IBM Certified Data Engineer atau Google Certified Professionals.
Ikhtisar Pekerjaan
[Nama perusahaan] sebagai sebuah perusahaan yang bergerak di bidang [bidang perusahaan] sedang mencari seorang data engineer. Data engineer yang dicari bertugas untuk mengekspansi dan mengoptimisasi arsitektur data dan alur pengumpulan data guna mendukung kinerja pengembang software, arsitek database, data analis, data scientist, dan tim terkait lainnya. Kandidat yang ideal bagi perusahaan kami adalah mereka yang mampu bekerja secara mandiri dalam menyediakan data untuk keperluan pengembangan sistem dan produk oleh berbagai tim di dalam perusahaan. Selain itu, mereka juga harus memiliki ketertarikan untuk mengembangkan hingga mendesain ulang aristektur data perusahaan secara berkesinambungan.
Tanggung Jawab dan Tugas
-
Menciptakan dan memelihara arsitektur data agar tetap optimal.
-
Mengumpulkan data yang bersifat kompleks untuk kebutuhan fungsional dan non-fungsional perusahaan.
-
Mengidentifikasi, merancang, dan mengimplementasi proses pengembangan yang meliputi automasi proses, optimisasi penyediaan data, desain ulang infrastuktur yang scalable, dan sebagainya.
-
Mengembangkan infrastruktur yang optimal untuk kebutuhan ekstraksi, transformasi, dan pemuatan data dari berbagai sumber seperti SQL dan teknologi big data AWS.
-
Membangun tool analisis pipeline data yang dapat memberikan insights dalam menjalankan proses akuisisi pelanggan, efisiensi operasional, dan metrik lainnya yang digunakan untuk mengukur performa bisnis perusahaan.
-
Bekerja sama dengan petinggi perusahaan, tim produk, dan tim desain untuk mengatasi isu terkait data dan mendukung kebutuhan infrastruktur data.
-
Melakukan pemisahan data dan memastikan keamanan data di berbagai pusat data.
-
Berkontribusi dalam pengembangan dan optimisasi produk oleh data analis dan data scientist dengan menciptakan tool analisa data.
-
Bekerja sama dengan ahli di bidang data dan analisis untuk menciptakan sistem data yang lebih fungsional.
Kualifikasi Minimum
-
Gelar sarjana di bidang teknik informatika, statistika, matematika terapan, dan bidang kuantitatif terkait lainnya.
-
Memiliki kemampuan manajemen proyek dan organisasi yang baik.
-
Mampu bekerja sama dengan berbagai tim dalam perusahaan di lingkungan kerja yang dinamis.
-
Berpengalaman dalam membangun dan mengoptimasi big data, arsitektur data, dan set data.
-
Memiliki kemampuan analisa yang kuat untuk mengerjakan set data yang tidak terstruktur.
-
Memiliki pemahaman yang kuat dalam menggunakan SQL dan mengolah basis data relasional, query authoring, serta berbagai variasi basis data lainnya.
-
Berpengalaman dalam menjalankan analisis root cause pada data internal dan eksternal untuk menjawab kebutuhan bisnis perusahaan serta mengidentifikasi potensi pengembangan.
-
Membangun proses untuk mendukung transformasi data, strukturisasi data, metadata, dan manajemen beban kerja.
-
Berpengalaman dalam memanipulasi, memroses, dan mengesktraksi data dari sejumlah set data yang tidak saling terhubung.
-
Memiliki pemahaman terkait message queueing, stream processing, dan model penyimpanan big data yang scalable.
-
Berpengalaman menggunakan berbagai software / tool seperti:
-
Tool big data: Hadoop, Spark, Kafka, dan sebagainya.
-
Basis data relasional SQL dan NoSQL: PostGre dan Cassandra.
-
Tool pipeline data dan manajemen alur kerja: Azkaban, Luigi, Airflow, dan sebagainya.
-
Cloud service AWS: EC2, EMR, RDS, dan Redshift.
-
Sistem stream processing: Strom, Spark-Streaming, dan sebagainya.
-
Bahasa pemrograman object-oriented: Python, Java, C++, Scala, dan sebagainya.
Find a Job as a Data Engineer
Find remote work faster
Kalibrr knows how hard it is to look for work in these trying times. That's why we've made it easier to look for jobs that allow you to work from home or wherever you are. Try these remote work filters out!
Oops!
We don't have any jobs matching that search right now.