Computer Use และ Browser Agent: AI ที่คลิกและพิมพ์แทนคุณ

เจาะกลไกของ AI ที่ควบคุมหน้าจอผ่าน screenshot ทำไมยังเปราะกว่า API เมื่อไหร่ควรใช้ และวิธีคุมความเสี่ยงก่อนให้มันทำงานจริง

ฝ่ายบุคคลของโรงงานแห่งหนึ่งต้องกรอกข้อมูลพนักงานใหม่ลงระบบเงินเดือนรุ่นเก่าทุกเดือน ระบบนั้นไม่มี API ไม่มีปุ่ม import มีแต่หน้าจอให้คลิกและพิมพ์ทีละช่อง งานแบบนี้คือสิ่งที่ AI ประเภท Computer Use และ Browser Agent ถูกสร้างมาเพื่อรับมือ: ใช้หน้าจอแบบเดียวกับที่คนใช้

Computer Use และ Browser Agent คืออะไร

Computer Use คือความสามารถให้ AI มองหน้าจอผ่านภาพ screenshot แล้วควบคุมเมาส์และคีย์บอร์ด ส่วน Browser Agent คือ Agent ที่ทำแบบเดียวกันแต่จำกัดอยู่ในเว็บเบราว์เซอร์ ทั้งคู่ต่างจาก Tool Calling ทั่วไปตรงที่ไม่ต้องมี API ให้เรียก Agent ใช้ซอฟต์แวร์ที่ออกแบบมาให้คนใช้ได้โดยตรง

Anthropic เปิด computer use เป็น public beta เมื่อเดือนตุลาคม 2024 ส่วน OpenAI เปิดตัว ChatGPT agent ในเดือนกรกฎาคม 2025 โดยอธิบายว่าเป็นการต่อยอดจาก Operator และ deep research มีทั้ง visual browser, text browser และ terminal

กลไกข้างใน: ลูปของภาพและการกระทำ

Browser Agent ใช้ Agent Loop แบบเดียวกับ Agent อื่น แต่ Observe ด้วย "ภาพ"

1. Observe: ถ่าย screenshot หน้าจอปัจจุบัน
2. Plan: โมเดลตีความภาพว่าตอนนี้อยู่หน้าไหน ปุ่มที่ต้องกดอยู่ตรงไหน
3. Act: สั่งขยับเคอร์เซอร์ไปที่พิกัด คลิก หรือพิมพ์ข้อความ
4. ถ่าย screenshot ใหม่ เพื่อดูว่าการกระทำได้ผลตามคาดหรือไม่

เอกสาร Tool use ของ Claude จัดเครื่องมือ computer และ browser ไว้ในกลุ่มที่โค้ดของคุณเป็นผู้รัน แปลว่าคุณต้องเตรียมเครื่องหรือสภาพแวดล้อมให้ Agent ใช้เอง ซึ่งเป็นจุดสำคัญด้านความปลอดภัย

ทำไมยังไม่ง่ายอย่างที่คิด

งานวิจัย OSWorld (เผยแพร่ปี 2024) สร้างงานทดสอบบนคอมพิวเตอร์จริง 369 งาน และรายงานว่าคนทำสำเร็จมากกว่า 72.36% ขณะที่โมเดลที่ดีที่สุดตอนนั้นทำได้ 12.24% ปัญหาหลักคือการระบุตำแหน่งบน GUI และการขาดความรู้ว่าโปรแกรมทำงานอย่างไร

ตอนเปิดตัว Anthropic รายงานว่า Claude 3.5 Sonnet ได้ 14.9% บน OSWorld ในหมวดที่ใช้เฉพาะ screenshot และยอมรับข้อจำกัด เช่น การเลื่อนหน้าจอ การลาก การซูม และทำงานช้ากว่าคน คะแนนบน benchmark นี้เปลี่ยนเร็ว ควรดูผลล่าสุดก่อนตัดสินใจ แต่บทเรียนยังใช้ได้: งานบนหน้าจอเปราะกว่างานผ่าน API

เมื่อไหร่ควรใช้ เมื่อไหร่ไม่ควร

เหมาะกับ

• ระบบเก่าที่ไม่มี API และไม่คุ้มที่จะพัฒนาเพิ่ม
• งานค้นข้อมูลจากหลายเว็บที่โครงสร้างไม่เหมือนกัน
• งานทำซ้ำปริมาณไม่มาก ที่ยอมให้ช้ากว่าคนได้

ไม่เหมาะกับ

• งานที่มี API ให้ใช้อยู่แล้ว เพราะ Tool Calling เร็ว ถูก และแม่นกว่า
• งานปริมาณมากที่ต้องการความเสถียรสูง เช่น ประมวลผลเอกสารหลายพันรายการ
• งานที่เกี่ยวกับเงินหรือข้อมูลสำคัญโดยไม่มีคนดู

ข้อควรระวัง

• Prompt injection จากหน้าเว็บ: OpenAI ระบุตรงๆ ว่าคำสั่งแฝงในหน้าเว็บอาจทำให้ Agent ทำสิ่งที่ไม่ตั้งใจ เช่น เปิดเผยข้อมูลจาก connector และยอมรับว่าความเสี่ยงโดยรวมสูงกว่าเดิม
• สิทธิ์ของบัญชีที่ล็อกอิน: Agent ทำได้ทุกอย่างที่บัญชีนั้นทำได้ ใช้บัญชีที่สิทธิ์จำกัด และแยกเครื่องหรือ VM สำหรับ Agent
• ให้คนคุมจุดสำคัญ: ChatGPT agent ใช้วิธีให้ผู้ใช้เข้าควบคุมเบราว์เซอร์เองตอนล็อกอิน ขออนุญาตก่อนทำสิ่งที่มีผลจริง และบางงานอย่างการส่งอีเมลต้องให้ผู้ใช้เฝ้าดูอยู่ หลักเดียวกันใช้กับระบบที่คุณสร้างเองได้ อ่านต่อใน Guardrails และ Human-in-the-loop

ถ้ามี API ให้ใช้ API ถ้าไม่มี ค่อยให้ AI คลิกแทนคุณ และอย่าปล่อยให้มันคลิกคนเดียว

เริ่มต้นยังไง

1. เลือกงานหน้าจอหนึ่งงานที่ทำซ้ำทุกสัปดาห์ และไม่มีทางเชื่อมผ่าน API
2. เขียนขั้นตอนที่คนทำอยู่ให้ละเอียด พร้อมผลลัพธ์ที่ถูกต้องของแต่ละขั้น
3. ทดลองบนบัญชีทดสอบหรือข้อมูลจำลองก่อนเสมอ
4. ให้ Agent หยุดรอคนยืนยันก่อนกดบันทึกหรือส่ง
5. จับเวลาและนับความผิดพลาดเทียบกับคนทำเอง แล้วค่อยตัดสินใจว่าคุ้มไหม

อยากลองใช้ Agent ที่ทำงานบนเบราว์เซอร์แทนคุณ เริ่มได้กับคอร์ส ChatGPT Agent ให้ AI ทำงานแทน ใน Plants.work Learn แล้วลองนำไปใช้กับงานจริงของทีมคุณ