ทำความสะอาดข้อมูลด้วย AI ก่อนวิเคราะห์ ให้ตัวเลขเชื่อถือได้
รู้จักปัญหาข้อมูลสกปรกที่พบบ่อยในไทย เช่น ปี พ.ศ. ปนกับ ค.ศ. และชื่อจังหวัดหลายแบบ พร้อมวิธีให้ AI ช่วยทำความสะอาดแบบตรวจสอบย้อนกลับได้
รายงานยอดขายระบุว่า "กรุงเทพฯ" ขายได้น้อยลงเกือบครึ่ง ทีมเกือบจะลดงบโฆษณาในกรุงเทพฯ ไปแล้ว จนมีคนสังเกตว่าข้อมูลครึ่งหนึ่งถูกบันทึกเป็น "กทม." อีกส่วนเป็น "Bangkok" ตัวเลขไม่ได้ลดลง แค่กระจายอยู่หลายชื่อ นี่คือเหตุผลที่การทำความสะอาดข้อมูลสำคัญไม่แพ้การวิเคราะห์ และเป็นงานที่ AI ช่วยได้มาก ถ้าใช้ถูกวิธี
Data Cleaning คืออะไร
Data cleaning คือการตรวจและแก้ข้อมูลให้ถูกต้อง สม่ำเสมอ และพร้อมวิเคราะห์ เช่น ลบแถวซ้ำ รวมค่าที่สะกดต่างกัน แปลงชนิดข้อมูล และจัดการค่าที่หายไป ถ้าข้ามขั้นนี้ Dashboard ที่สวยแค่ไหนก็ให้ข้อสรุปผิด
ปัญหาข้อมูลสกปรกที่พบบ่อยในองค์กรไทย
- ปี พ.ศ. ปน ค.ศ.: บางระบบบันทึก 2567 บางระบบบันทึก 2024 ทำให้เรียงลำดับเวลาผิดทั้งชุด
- ชื่อสถานที่หลายแบบ: กทม., กรุงเทพฯ, กรุงเทพมหานคร, Bangkok
- ตัวเลขไทยและตัวเลขที่เป็นข้อความ: ๑๒๓ หรือยอดเงินที่มีคำว่า "บาท" ติดมา ทำให้รวมผลไม่ได้
- เบอร์โทรหลายรูปแบบ: มีขีด ไม่มีขีด หรือขึ้นต้นด้วย +66
- ช่องว่างเกิน: มองไม่เห็นแต่ทำให้ค่า "สาขา A" กับ "สาขา A " ถูกนับเป็นคนละค่า
กลไก: ให้ AI สร้างกฎ ไม่ใช่ให้ AI แก้ข้อมูลเอง
หลักสำคัญคือ อย่าส่งไฟล์ให้ AI แล้วรับไฟล์ที่ "สะอาดแล้ว" กลับมาโดยไม่รู้ว่าเปลี่ยนอะไร ให้ AI ช่วยสร้าง กฎการแปลงข้อมูล ที่ตรวจสอบและรันซ้ำได้ เช่น ขั้นตอนใน Power Query สูตร Excel หรือ SQL วิธีนี้ทำให้เดือนหน้าเมื่อข้อมูลชุดใหม่มา คุณรันกฎเดิมได้ทันที และตรวจย้อนได้ว่าแต่ละค่าถูกแก้เพราะอะไร
ขั้นตอนที่ได้ผล
- Profile: ให้ AI สรุปแต่ละคอลัมน์ว่ามีค่าไม่ซ้ำกี่แบบ ค่าว่างกี่แถว และค่าที่ดูผิดปกติ
- Mapping table: ให้ AI เสนอตารางจับคู่ เช่น "กทม." ไปเป็น "กรุงเทพมหานคร" แล้วคุณตรวจอนุมัติ
- Transform: ให้ AI เขียนขั้นตอน Power Query หรือสูตรเพื่อนำ mapping ไปใช้
- Validate: เทียบจำนวนแถวและยอดรวมก่อนและหลังทำความสะอาด
เครื่องมือในตัวที่ช่วยได้
เอกสาร Microsoft Support ระบุว่า Excel มีฟีเจอร์ Clean Data สำหรับลูกค้า Copilot บน Excel for the web และ Windows ซึ่งตรวจหาข้อความไม่สม่ำเสมอ รูปแบบตัวเลขที่ปนกันระหว่าง Text กับ Number และช่องว่างเกิน เอกสารระบุว่าทำงานได้ดีที่สุดกับตารางไม่เกิน 100 คอลัมน์และ 50,000 แถว ข้อมูลควรจัดเป็น Excel table และในช่วงแรกทำงานได้ดีที่สุดกับภาษาอังกฤษ ข้อมูลภาษาไทยจึงควรตรวจผลละเอียดเป็นพิเศษ
ตัวอย่าง: รวมรายชื่อลูกค้าจาก 3 สาขา
ร้านวัสดุก่อสร้างที่มี 3 สาขาต้องการรวมรายชื่อลูกค้าเพื่อทำโปรแกรมสะสมแต้ม ทีมให้ AI profile ข้อมูลก่อน พบว่าเบอร์โทรมี 4 รูปแบบและวันที่สมัครปนทั้ง พ.ศ. และ ค.ศ. จากนั้นให้ AI เขียนขั้นตอน Power Query ที่แปลงเบอร์เป็นรูปแบบเดียวและแปลงปีที่มากกว่า 2500 ให้เป็น ค.ศ. แล้วใช้เบอร์โทรเป็นคีย์หาลูกค้าซ้ำ ทีมตรวจรายการซ้ำที่ AI เสนอทีละกลุ่มก่อนรวมจริง
ข้อมูลสะอาดที่ตรวจย้อนไม่ได้ ก็ยังไม่ใช่ข้อมูลที่เชื่อถือได้
ข้อควรระวัง
- AI อาจ "แก้" ค่าที่ถูกต้องแต่ผิดปกติ เช่น ยอดสั่งซื้อใหญ่จากลูกค้าองค์กร ซึ่งเป็นข้อมูลจริง
- อย่าให้ AI เติมค่าที่หายไปด้วยการเดา ให้ระบุชัดว่าเป็นค่าว่าง หรือใช้กฎที่ตกลงกันแล้ว
- ข้อมูลลูกค้าเป็นข้อมูลส่วนบุคคลตาม PDPA ใช้เฉพาะเครื่องมือที่องค์กรอนุมัติ และปิดบังข้อมูลก่อนส่งให้ AI ภายนอก
- เก็บไฟล์ต้นฉบับไว้เสมอ ห้ามเขียนทับ
ทำอะไรต่อ
- เลือกชุดข้อมูล 1 ชุดที่ทีมบ่นว่าตัวเลขไม่ตรง
- ให้ AI ทำ profile แล้วจดปัญหาที่พบ
- สร้าง mapping table และกฎแปลงข้อมูล
- บันทึกขั้นตอนใน Power Query หรือสคริปต์ให้รันซ้ำได้
- ตั้งกติกาการกรอกข้อมูลต้นทาง เช่น dropdown แทนการพิมพ์อิสระ
ฝึกเครื่องมือจริงได้กับคอร์ส Power Query พื้นฐานสำหรับ Data Preparation และ Copilot ใน Excel ช่วยสรุปและวิเคราะห์ข้อมูล บน Plants.work Learn จากนั้นต่อยอดด้วย สร้าง Dashboard ด้วย AI