Data Engineer

รายละเอียดงาน / Description

• ออกแบบ พัฒนา และดูแล Data Pipeline (กระบวนการรับ ส่ง และประมวลผลข้อมูลอัตโนมัติ) สำหรับนำข้อมูลจากหลายแหล่งเข้าสู่ Data Platform (ระบบกลางสำหรับจัดเก็บและบริหารจัดการข้อมูล) ของบริษัท
• เชื่อมต่อและดึงข้อมูลจากแหล่งต่าง ๆ เช่น Relational Database (MySQL, PostgreSQL หรือ Database อื่น ๆ), External API / REST API , Log หรือ Event Data , Object Storage
• จัดเตรียมและแปลงข้อมูลในกระบวนการ ETL / ELT (กระบวนการดึง แปลง และนำข้อมูลเข้าไปจัดเก็บในระบบปลายทาง) เพื่อให้ข้อมูลสามารถนำไปใช้งานต่อได้อย่างถูกต้อง
• นำข้อมูลเข้าสู่ Data Warehouse หรือ Data Lake (ระบบกลางสำหรับจัดเก็บข้อมูลจำนวนมากเพื่อการวิเคราะห์) เช่น Google BigQuery และ Amazon S3
• ออกแบบโครงสร้างข้อมูลให้เหมาะกับการทำ Reporting, Analytics และ Dashboard (รายงาน การวิเคราะห์ และหน้าจอสรุปข้อมูล)
• ดูแลประสิทธิภาพของ Database และ Data Pipeline รวมถึงวิเคราะห์ปัญหาเมื่อระบบทำงานช้า หรือข้อมูลไม่ครบถ้วน

ตรวจสอบ Data Quality (คุณภาพของข้อมูล) เช่น ความครบถ้วน ความถูกต้อง ข้อมูลซ้ำ หรือข้อมูลที่ผิดปกติ

• ดูแลการทำงานของ Scheduled Jobs และ Automated Data Processing (งานประมวลผลข้อมูลที่ตั้งเวลาให้ทำงานอัตโนมัติ)
• Monitoring (การติดตามสถานะการทำงานของระบบ) และแก้ไขปัญหาของ Data Pipeline เมื่อ Job ล้มเหลว หรือข้อมูลไม่ถูกส่งเข้าระบบตามเวลาที่กำหนด
• ทำงานร่วมกับ Software Engineer, Business Intelligence, Data Analyst และหน่วยงานธุรกิจ เพื่อทำความเข้าใจความต้องการด้านข้อมูล
• จัดทำ Documentation (เอกสารอธิบายระบบ) เกี่ยวกับ Data Source, Data Pipeline และโครงสร้างข้อมูล เพื่อให้ทีมสามารถดูแลระบบร่วมกันได้
• ดูแลสิทธิ์การเข้าถึงข้อมูล และปฏิบัติตามแนวทางด้าน Data Security (ความปลอดภัยและการควบคุมการเข้าถึงข้อมูล) ของบริษัท

สถานที่ปฏิบัติงาน

อาคารจัสมิน อินเตอร์เนชั่นแนล ทาวเวอร์ ถนนแจ้งวัฒนะ