องค์ที่ 4 · ตอนที่ 16

ขยี้ภาพลวงตา — Computer Use และมายาคติ Frontier Model

ขยี้ภาพลวงตา — Computer Use และมายาคติ Frontier Model

เมื่อเราก้าวเข้าสู่องค์สุดท้ายของหนังสือเล่มนี้ เราไม่ได้คุยกันเรื่องชิ้นส่วนภายในห้องเครื่องอย่างเดียวแล้วครับ แต่เรากำลังก้าวออกมาเผชิญหน้ากับ "โลกความเป็นจริง" ที่เต็มไปด้วยข่าวสาร คำโฆษณา และกระแสตื่นตระหนกที่เกิดขึ้นทุกวัน

หนึ่งในวิดีโอสาธิต (Demo) ที่สร้างความฮือฮาที่สุดในโลกไอทียุคนี้ คือภาพของ AI ที่:

เลื่อนเมาส์ไปมาบนหน้าจอเอง... คลิกเปิดเบราว์เซอร์... พิมพ์ค้นหาเที่ยวบิน... กรอกแบบฟอร์ม... แล้วกดจองตั๋วเสร็จสรรพ โดยที่มนุษย์ไม่ได้แตะต้องเมาส์หรือคีย์บอร์ดเลยแม้แต่นิดเดียว!

สิ่งนี้ถูกเรียกอย่างเป็นทางการว่า Computer Use (ความสามารถในการควบคุมหน้าจอคอมพิวเตอร์) พร้อมกับข่าวเปิดตัวโมเดลใหม่ ๆ ที่ค่ายเทคโนโลยีย้ำว่า:

“นี่คือโมเดลรุ่นใหม่ล่าสุดที่ถูกฝึกสอน (Trained) มาเพื่อฟังก์ชัน Computer Use โดยเฉพาะ!”

คำถามคือ... มันมหัศจรรย์ขนาดนั้นจริงหรือ? เบื้องหลังหน้าจอที่เมาส์ขยับได้เอง แท้จริงแล้วทำงานอย่างไร? และในชีวิตจริง เราจำเป็นต้องใช้โมเดลตัวท็อปอย่างที่เขาโฆษณาเสมอไปหรือไม่?

ในตอนนี้ ผมจะชวนทุกคนมา "งัดฝากระโปรงขยี้ภาพลวงตา" เรื่อง Computer Use และถอดรหัสความเชื่อเรื่อง Frontier Model ผ่านสายตาของ Software Architect กันครับ!

1. ถอดรหัส Computer Use: แท้จริงแล้วมันคืออะไร?

เวลาที่คนทั่วไปเห็น AI เลื่อนเมาส์และพิมพ์งานเองได้ หลายคนมักจินตนาการไปว่า AI มีดวงตาเหมือนมนุษย์ กำลังนั่งจ้องมองหน้าจอคอมพิวเตอร์ และมีแขนกลจำลองกดปุ่มคีย์บอร์ดอยู่จริง ๆ

แต่ถ้าเราถอดภาพมายากลออก แล้วนำความรู้จาก ตอนที่ 10 (Tools) และ ตอนที่ 13 (Agent Loop) กลับมามอง:

Computer Use ไม่ใช่เวทมนตร์ใหม่ แต่เป็นเพียง Agent ที่ได้รับชุดเครื่องมือพิเศษสำหรับโต้ตอบกับหน้าจอเท่านั้นครับ

โดยมีตัวอย่าง ชุดเครื่องมือหลัก 3 ชิ้น ที่มักพบได้บ่อย ได้แก่:

  1. Tool แคปภาพหน้าจอ (screenshot): ทำหน้าที่ถ่ายภาพหน้าจอปัจจุบัน แล้วแปลงภาพนั้นส่งเข้าไปใน Context ให้โมเดลแบบ Multimodal ดู (บางระบบอาจดึงโครงสร้างหน้าเว็บหรือ Accessibility Tree ควบคู่ไปด้วย)
  2. Tool ขยับเมาส์และคลิก (mouse_click): รับพิกัดตัวเลขแกน X และ Y จากโมเดล (เช่น พิกัด X=450, Y=320) แล้วส่งคำสั่งผ่านระบบปฏิบัติการให้เคอร์เซอร์เมาส์วิ่งไปคลิกตรงจุดนั้น
  3. Tool พิมพ์ข้อความ (type_text): ส่งสัญญาณป้อนตัวอักษรหรือเคาะแป้นพิมพ์เสมือน (Keyboard Event) ลงในช่องที่เคอร์เซอร์วางอยู่
แผนภาพประกอบ chapter 16 diagram 01
แผนภาพประกอบเรื่อง

กระบวนการนี้หมุนลูปวนซ้ำตามวงจร คิด-ทำ-ตรวจ (ReAct Loop) ที่เราคุยกันมาเป๊ะ ๆ: แคปภาพ → ส่งให้โมเดลดู → โมเดลคำนวณพิกัดบนรูป → สั่งคลิก → แคปภาพใหม่มาตรวจว่าปุ่มเด้งไหม → วนลูปต่อไปจนงานเสร็จ

2. ความจริงเบื้องหลังวิดีโอ Demo: ช้า เปลือง และเปราะบาง

ในวิดีโอโฆษณาความยาว 1 นาที ทุกอย่างดูราบรื่นและน่าตื่นเต้นมากครับ แต่ในโลกการทำงานจริงระดับวิศวกรรม Computer Use มีข้อจำกัดร้ายแรงที่คนขายมักไม่ค่อยบอกเรา:

1) ช้ามาก (High Latency):

ทุกครั้งที่เมาส์จะคลิก 1 ครั้ง ระบบต้องแคปรูปภาพความละเอียดสูง อัปโหลดรูปขนาดใหญ่ข้ามอินเทอร์เน็ตไปให้โมเดลประมวลผล รอโมเดลคำนวณพิกัด แล้วส่งคำสั่งกลับมา การคลิกเพียงปุ่มเดียวอาจใช้เวลา 3–5 วินาที งานง่าย ๆ อย่างการกรอกแบบฟอร์ม 5 ช่อง อาจกินเวลาไปเกือบ 1 นาที!

2) เปลือง Token และค่าบริการมหาศาล (Massive Cost):

การส่ง "รูปภาพหน้าจอ" เข้าโมเดลทุกรอบ กิน Token สูงกว่าข้อความตัวอักษรหลายเท่าตัว (รูปหนึ่งรูปอาจกินพลังงานเทียบเท่าหลายร้อยถึงพัน Tokens) ลองคิดภาพว่า Agent ต้องวนลูปแคปหน้าจอ 20 ครั้งเพื่อทำงานชิ้นหนึ่ง ค่า API สำหรับการจองตั๋วเครื่องบิน 1 ใบอาจแพงกว่าค่าธรรมเนียมที่เราจองเองเสียอีก!

3) เปราะบางอย่างยิ่ง (Extremely Brittle):

เพียงแค่มีหน้าต่างป๊อปอัปโฆษณาเด้งขึ้นมาแทรก, หน้าเว็บเปลี่ยนธีมสี, ฟอนต์เปลี่ยนขนาด, หรือความละเอียดหน้าจอเพี้ยนไปเพียงนิดเดียว... พิกัด X, Y ที่โมเดลคำนวณไว้จะคลาดเคลื่อนทันที เมาส์อาจจะคลิกไปโดนพื้นที่ว่าง หรือเผลอไปกดปิดแท็บทิ้งจนงานพัง

ในทางสถาปัตยกรรมซอฟต์แวร์ Computer Use มักถูกพิจารณาอย่างระมัดระวัง ถ้าเป็นงานประมวลผลข้อมูลทั่วไปและโปรแกรมนั้นมี ท่อเชื่อมต่อมาตรฐาน (API) หรือสามารถสั่งงานผ่าน เทอร์มินัล (CLI / Scripts) ได้โดยตรง เราจะเลือกใช้ API หรือคำสั่งตรงก่อนเสมอ เพราะรวดเร็วกว่า แม่นยำกว่า และประหยัดต้นทุนกว่าการให้ AI มานั่งส่องภาพแคปหน้าจอมาก

แต่สำหรับงานที่ต้องการพิสูจน์ผลลัพธ์ผ่านมุมมองที่มนุษย์มองเห็นจริง (Visual QA) หรืองานบนระบบเก่าที่ไม่มี API ให้เชื่อมต่อ Computer Use ก็เป็นทางออกที่เข้ามาช่วยปลดล็อกได้อย่างน่าทึ่งครับ!

3. มายาคติ Frontier Model: ต้องใช้ตัวท็อปเท่านั้นจริงหรือ?

เรื่องนี้เชื่อมโยงโดยตรงกับความเชื่อที่สอง นั่นคือ มายาคติเรื่อง Frontier Model (โมเดลแถวหน้า)

ค่ายเทคโนโลยีมักสร้างภาพว่า: “ถ้าคุณอยากได้งานที่มีคุณภาพ คุณต้องใช้โมเดลรุ่นท็อปที่สุด (เช่น GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro)” และพยายามทำให้เรารู้สึกว่าโมเดลรุ่นเล็ก ๆ หรือโมเดลราคาประหยัด (เช่น Gemini Flash, DeepSeek, หรือโมเดลโอเพนซอร์ส) เป็นของเล่นชั้นสองที่ไม่เหมาะกับงานจริง

แต่ในการทำงานจริงของผมในฐานะ Software Architect ผมกลับพบความจริงที่สวนทางอย่างสิ้นเชิง:

1) งานส่วนใหญ่ไม่ได้ต้องการพลังตรรกะระดับสูงสุด:

จากประสบการณ์ทำงานของผม งานส่วนใหญ่ที่พบในชีวิตประจำวัน คืองานจัดรูปแบบข้อความ, งานค้นหาข้อมูลเฉพาะจุด, งานสกัดข้อมูลจากตาราง, หรือการเขียนโค้ดตามโครงสร้างเดิม ซึ่งงานเหล่านี้ โมเดลขนาดเล็กและประหยัด (เช่น Gemini Flash หรือ DeepSeek Flash) สามารถทำได้ดีเยี่ยม รวดเร็วกว่า และแทบไม่มีความแตกต่างในผลลัพธ์สุดท้ายเลยครับ

2) Frontier Model โควตาวูบและต้นทุนสูง:

ถ้าเรานำ Frontier Model ตัวท็อปมาหมุนลูป Agent ตลอดทั้งวัน สิ่งที่เราจะเจอคือ:

  • ค่าใช้จ่ายที่พุ่งทะยานจนคุมไม่อยู่
  • ชนเพดานโควตาการใช้งาน (Rate Limit) อย่างรวดเร็ว ทำให้ระบบต้องหยุดชะงักกลางคัน

3) ข้อควรระวังสำคัญ (Architect’s Disclaimer):

ผมต้องหมายเหตุไว้ตรงนี้อย่างซื่อตรงและรอบคอบครับว่า:

ประสบการณ์ที่ผมเล่าว่าโมเดลราคาประหยัดทำงานได้ดีเยี่ยมนั้น เป็นหลักฐานเฉพาะงานเขียน การจัดการข้อความ และงานพัฒนาสถาปัตยกรรมบางประเภทที่ผมทำอยู่เป็นประจำ
ไม่ได้แปลว่าโมเดลราคาถูกจะนำไปทำ Computer Use หรือแก้โจทย์คณิตศาสตร์ขั้นสูงได้ดีเทียบเท่า Frontier Model เสมอไป เพราะงานที่ต้องคำนวณพิกัดภาพหน้าจออย่างละเอียด ยังคงต้องการพลังการมองเห็น (Vision Capability) ในระดับสูงอยู่

แต่จุดยืนที่สำคัญที่สุดคือ: เราต้องพิสูจน์ด้วยผลลัพธ์จริง ต้นทุนจริง และข้อจำกัดของงานเรา ไม่ใช่เชื่อตามโฆษณาชวนเชื่อครับ!

4. ประสบการณ์จริง: นั่งดู AI กรอกเว็บแทนผม และการจัดทัพแบบ Fit-for-Purpose

แล้วในชีวิตการทำงานจริง ผมได้หยิบ Computer Use มาใช้บ้างไหม?

คำตอบคือ ใช้ครับ! แต่ใช้ในขอบเขตและหน้าที่ที่เฉพาะเจาะจงมาก

หนึ่งในกรณีการใช้งานจริงที่ผมชอบมาก คือการนำระบบจำพวก Edge Use / Browser Control มาช่วยคุมหน้าจอเพื่อ "ทดสอบเว็บ (Web QA & Verification)":

  • โมเดลที่ผมเลือกใช้ในการคุม Edge Use สำหรับงานนี้คือ GPT6-Luna
  • ผมสั่งให้มันเปิดหน้าเว็บระบบขึ้นมาบนหน้าจอจริง ๆ ต่อหน้าต่อตา
  • สั่งให้มันลองคลิกตามปุ่มต่าง ๆ และ กรอกข้อมูลแบบฟอร์มยาว ๆ แทนผม
  • ในระหว่างนั้น ผมแค่นั่งดูอยู่หน้าจอเฉย ๆ อย่างสบายใจ สังเกตว่ามันคลิกถูกจุดไหม กรอกข้อมูลลงช่องถูกต้องหรือไม่ หน้าเว็บแสดงผลตอบสนองอย่างไร

การใช้ Computer Use ในลักษณะนี้ มีประโยชน์มหาศาลในการ "ช่วยตรวจรับงาน (Verification & Acceptance)" ให้ทำได้ง่ายและเห็นภาพจริง โดยที่เราไม่ต้องมานั่งเมื่อยมือพิมพ์กรอกข้อมูลซ้ำ ๆ ด้วยตัวเอง แต่ในขณะเดียวกัน เราก็ยังเป็นมนุษย์ที่นั่งคุมสายตาดูอยู่ตลอดเวลา (Human Supervisor) ว่ามันไม่ได้ทำอะไรหลุดกรอบ

⚠️ คำเตือนเรื่องความปลอดภัยที่ต้องคิดให้หนัก (The Privacy Dilemma)

อย่างไรก็ตาม มีอีกเรื่องสำคัญมากที่ผมอยากเตือนสติทุกคนไว้ให้คิดอย่างลึกซึ้งครับ:

“การที่เราเปิดฟังก์ชัน Computer Use ให้ AI เข้ามาควบคุมหน้าจอ...
ในทางเทคนิค มันแปลความหมายได้ตรงตัวว่า เรากำลัง 'ยอมยกเครื่องคอมพิวเตอร์ให้มันยึดไปทำงานแทน'!”

ลองคิดภาพตามความเป็นจริงดูสิครับ: ทุกอย่างที่เปิดค้างอยู่บนหน้าจอของคุณในขอบเขตที่เครื่องมือมองเห็น — ไม่ว่าจะเป็นแท็บอีเมลงาน, หน้าต่างแชตส่วนตัว, ไฟล์เอกสารลับของบริษัท, หรือข้อมูลการเงิน — อาจถูกบันทึกเป็นรูปภาพหรือดึงข้อมูลโครงสร้าง แล้วส่งข้ามอินเทอร์เน็ตขึ้นไปให้เซิร์ฟเวอร์ภายนอกประมวลผลตามสถาปัตยกรรมของบริการนั้น ๆ!

คำถามสำคัญในฐานะคนทำงานและเจ้าของข้อมูลคือ: “ทุกท่านพร้อมยอมรับความเสี่ยงเรื่องความเป็นส่วนตัวและความลับระดับนี้ได้จริง ๆ หรือไม่?”

นี่คือเหตุผลที่ผมมักจำกัดการใช้งาน Computer Use ไว้เฉพาะบนเบราว์เซอร์แยกที่เปิดขึ้นมาทดสอบเป็นการเฉพาะ (Edge Use) และนั่งจ้องดูหน้าจอตลอดเวลา โดยไม่ปล่อยให้มันวิ่งเพ่นพ่านในคอมพิวเตอร์ส่วนตัวตามอำเภอใจครับ!

ส่วนในแง่ของการเลือกโมเดลมาขับเคลื่อนโปรเจกต์ sabayjai.net และงานประจำวัน ผมไม่เคยใช้ Frontier Model ตัวท็อปเพียงตัวเดียวสำหรับทุกเรื่อง แต่จัดทัพแบบผสมผสาน (Multi-model Pipeline) ดังนี้ครับ:

  1. ด่านหน้าจัดการเนื้อหา (Content & Drafting): ผมใช้ Gemini Flash เป็นหลัก เพราะตอบสนองรวดเร็วมาก สำนวนภาษาไทยเป็นธรรมชาติ และต้นทุนประหยัดอย่างเหลือเชื่อ
  2. ด่านจัดหน้าและสไตล์ (Layout & Styling): ใช้โมเดลที่คล่องตัวอย่าง Muse Spark ช่วยดูแลและจัดวางความสวยงาม
  3. ด่านตรวจทานและวิพากษ์ (Review & Critique): เมื่อถึงจังหวะที่ต้องการสายตาคู่ที่สองมาช่วยตรวจจับช่องโหว่ทางตรรกะ ผมจึงดึงโมเดลอย่าง GPT6-Luna หรือ Sol เข้ามาร่วมให้ความเห็นและรีวิวงาน
  4. ด่านขัดตาทัพยามฉุกเฉิน: สลับมาใช้ DeepSeek หรือ GLM ผ่าน API เมื่อเครื่องมือหลักชนเพดานโควตา

การจัดทัพแบบนี้ ทำให้งานของเราเดินหน้าไปได้อย่างรวดเร็ว อยู่ในสถานะที่จัดการเรื่องโควตาได้ดี และที่สำคัญที่สุดคือ ต้นทุนค่าใช้จ่ายรวมถูกกว่าการผูกขาดกับ Frontier Model ตัวท็อปเพียงตัวเดียวอย่างแน่นอนครับ!

5. มุมมองสถาปัตยกรรม (Architect’s Lens): ตะแกรงร่อนก่อนเลือกใช้

ในฐานะคนทำระบบ เวลาที่มีเทคโนโลยีใหม่หรือโมเดลใหม่ออกมา ผมใช้ "ตะแกรงร่อน 3 ชั้น" นี้ในการตัดสินใจเสมอครับ:

แผนภาพประกอบ chapter 16 diagram 02
แผนภาพประกอบเรื่อง

หัวใจของวิศวกรซอฟต์แวร์ ไม่ใช่การวิ่งตามทุกสิ่งที่ดูไฮเทคที่สุด แต่คือ การแก้ปัญหาของธุรกิจและมนุษย์ ด้วยเครื่องมือที่เหมาะสมที่สุด ปลอดภัยที่สุด และคุ้มค่าที่สุดครับ

บทสรุปและสิ่งที่จะคุยกันต่อ

ในตอนนี้ เราได้สลายมายาคติสำคัญไปถึงสองเรื่อง:

  • Computer Use ไม่ใช่เรื่องลึกลับ: มันคือ Agent บวก Tool แคปจอและคลิกเมาส์ ซึ่งมีจุดอ่อนเรื่องความช้า ต้นทุนสูง และความเปราะบาง หากเลี่ยงได้ควรใช้ API ตรงเสมอ
  • Frontier Model ไม่ใช่คำตอบของทุกสิ่ง: การเลือกโมเดลตามขนาดของงาน (Fit-for-Purpose) และการจัดทัพผสมผสาน จะช่วยประหยัดงบประมาณและทำให้ระบบทำงานได้อย่างต่อเนื่องไม่มีสะดุด

แต่เมื่อเราเริ่มจริงจังกับการนำ AI มาทำงานในองค์กรหรือชีวิตประจำวัน คำถามเชิงสถาปัตยกรรมข้อใหญ่ถัดมาจะหนีไม่พ้นเรื่อง:

“ในโลกความเป็นจริง... เราควรส่งข้อมูลขึ้นไปให้ AI ประมวลผลบนก้อนเมฆ (Cloud AI) หรือว่าเราควรดาวน์โหลดโมเดลมาติดตั้งและรันในเครื่องคอมพิวเตอร์ของเราเอง (Local AI) ดีกว่ากัน?”

ในตอนต่อไป — ตอนที่ 17: AI ควรอยู่ที่ไหนดี?: ก้อนเมฆ (Cloud AI) หรือ ในบ้านเรา (Local AI)? เราจะมาผ่าข้อดี ข้อเสีย และสมการความคุ้มค่าระหว่างสองแนวทางนี้กันครับ!

ศัพท์เทคนิค → คำแปลภาษาคนทำงาน — แตะเพื่อย่อ/ขยาย
  • Computer Use: ความสามารถของ AI ในการมองภาพหน้าจอ (Screenshot) หรืออ่านโครงสร้างหน้าต่างโปรแกรม และสั่งการเมาส์/คีย์บอร์ดเสมือนผ่านพิกัด เพื่อควบคุมโปรแกรมคอมพิวเตอร์แทนมนุษย์
  • Frontier Model: โมเดลที่อยู่แนวหน้าด้านความสามารถ ณ ช่วงเวลาหนึ่ง มีพลังการให้เหตุผลและการประมวลผลขั้นสูงในระดับแนวหน้าของวงการ
หลักคิดเชิงสถาปัตยกรรม — แตะเพื่อย่อ/ขยาย
  • Choose the Right Interface: หากเป็นงานข้อมูลทั่วไปที่มี API ให้เลือกใช้ API เป็นอันดับแรกเพื่อความเร็วและความเสถียร แต่หากเป็นงาน Visual QA ที่ต้องพิสูจน์ผลลัพธ์ผ่านหน้าจอที่ผู้ใช้เห็นจริง Computer Use ก็เป็นเครื่องมือที่เข้ามาเติมเต็มได้อย่างยอดเยี่ยม
  • Fit-for-Purpose over Frontier Hype: อย่าติดกับดักการตลาดว่าต้องใช้โมเดลตัวท็อปเสมอไป งานส่วนใหญ่ในชีวิตจริงสามารถขับเคลื่อนได้อย่างสมบูรณ์แบบด้วยโมเดลขนาดกะทัดรัดที่ประหยัดต้นทุนและตอบสนองไวกว่า
  • Privacy Dilemma in Computer Use: การเปิดให้ AI ควบคุมหน้าจอมีความเสี่ยงที่ข้อมูลทุกอย่างในขอบเขตการมองเห็นจะถูกส่งออกไปประมวลผล จึงต้องจำกัดขอบเขตและสภาพแวดล้อมการทำงานให้รัดกุมเสมอ