OpenAI ได้ก้าวไปอีกขั้นในการผสานรวมปัญญาประดิษฐ์เข้ากับการทำงานประจำวัน ด้วยการเปิดตัวฟีเจอร์ใหม่ “Computer Use” สำหรับแอปพลิเคชัน OpenAI Codex บน macOS ความพิเศษของฟีเจอร์นี้คือ ตัว AI Agent สามารถเข้ามาจัดการและใช้งานแอปพลิเคชันต่างๆ บนเครื่อง Mac ของคุณได้ แม้ในขณะที่หน้าจอปิดอยู่และเครื่องล็อกไว้ก็ตาม ทำให้การทำงานร่วมกับ AI ก้าวเข้าสู่มิติใหม่ที่สะดวกสบายและทรงพลังยิ่งขึ้น
เจาะลึกฟีเจอร์ “Computer Use” บน OpenAI Codex ทำอะไรได้บ้าง?
ฟีเจอร์ Computer Use ที่มาพร้อมกับ OpenAI Codex นี้ ได้รับการออกแบบมาเพื่อขยายขีดความสามารถของ AI ในการโต้ตอบกับระบบปฏิบัติการ macOS ได้อย่างลึกซึ้งยิ่งขึ้น โดยเฉพาะในส่วนของการทำงานกับแอปพลิเคชันที่มีอินเทอร์เฟซแบบกราฟิก (GUI) ซึ่งเครื่องมือแบบ Command-line ไม่สามารถเข้าถึงได้ง่าย
สิ่งที่ Codex ทำได้ด้วย Computer Use
- คลิกผ่านหน้าต่างแอปพลิเคชันต่างๆ: AI สามารถจำลองการคลิกเมาส์เพื่อเลือกเมนู, ปุ่ม หรือองค์ประกอบอื่นๆ ในแอป
- พิมพ์ข้อความหรือคำสั่ง: สามารถป้อนข้อมูล, รหัส หรือข้อความลงในช่องต่างๆ ได้
- นำทางเมนูและตัวเลือกในแอป: เข้าถึงและเลือกตัวเลือกจากเมนูบาร์หรือเมนูบริบท
- โต้ตอบกับคลิปบอร์ด (Clipboard): สามารถคัดลอกและวางข้อมูลระหว่างแอปพลิเคชันได้
ประโยชน์หลักจากการใช้งาน
- จำลองข้อผิดพลาด (Bug) ที่เกิดจาก GUI: เหมาะสำหรับนักพัฒนาที่ต้องการสร้างสถานการณ์การเกิดบั๊กซ้ำบนหน้าจอ เพื่อวิเคราะห์และแก้ไขปัญหา
- เปลี่ยนแปลงการตั้งค่าของแอปพลิเคชัน: สามารถตั้งค่าหรือปรับเปลี่ยนคุณสมบัติของแอปได้โดยอัตโนมัติ
- รันขั้นตอนการทำงาน (Workflow) ในแอปเดสก์ท็อป: ช่วยให้ Codex ทำงานต่อเนื่องในแอปพลิเคชันที่กำลังพัฒนาหรือใช้งานอยู่ได้
การขออนุญาตและความปลอดภัย
เพื่อให้ฟีเจอร์ Computer Use สามารถทำงานได้อย่างเต็มที่ จำเป็นต้องได้รับการอนุญาตในการเข้าถึงส่วนสำคัญของระบบ ได้แก่ “Screen Recording” และ “Accessibility” บน macOS ซึ่งเป็นสิ่งสำคัญที่ผู้ใช้ต้องพิจารณาในแง่ของความเป็นส่วนตัวและการควบคุม
- Codex จะขออนุญาตก่อนเข้าใช้งานแอปพลิเคชันใหม่แต่ละครั้ง
- ผู้ใช้สามารถเลือก “Always allow” สำหรับแอปพลิเคชันที่ต้องการให้ Codex เข้าถึงได้ตลอดเวลา โดยไม่ต้องขออนุญาตซ้ำ
ข้อจำกัดในการใช้งานเบื้องต้น
อย่างไรก็ตาม ในช่วงแรกของการเปิดตัว ฟีเจอร์นี้ยังมีข้อจำกัดบางประการที่ผู้ใช้ควรทราบ
- ปัจจุบันยังไม่พร้อมให้บริการในกลุ่มประเทศเขตเศรษฐกิจยุโรป (EEA), สหราชอาณาจักร (UK) และสวิตเซอร์แลนด์
- ไม่สามารถทำงานอัตโนมัติกับแอปพลิเคชัน Terminal ได้
- ไม่สามารถควบคุมตัวแอป OpenAI Codex เองได้
- ไม่สามารถจัดการกับคำสั่งของผู้ดูแลระบบ (System-level admin prompts) ได้
การอัปเดตอื่นๆ ที่น่าสนใจจาก OpenAI Codex
นอกเหนือจากฟีเจอร์ Computer Use แล้ว OpenAI Codex ยังมีการอัปเดตความสามารถอื่นๆ ที่น่าสนใจ ซึ่งช่วยยกระดับการทำงานของ AI Agent ไปอีกขั้น
- Appshots: ฟีเจอร์ใหม่ที่ช่วยให้ Codex สามารถดึงภาพหน้าจอและข้อความจากหน้าต่างแอปบน Mac เข้าสู่เธรดของ Codex ได้ทันที เพียงใช้คีย์ลัด Command-Command
- /goal mode: โหมดใหม่ที่ทำให้ AI Agent สามารถทำงานเพื่อบรรลุเป้าหมายที่ตั้งไว้ได้อย่างต่อเนื่องยาวนานเป็นชั่วโมงหรือเป็นวัน เหมาะสำหรับงานที่ต้องใช้เวลาและมีความซับซ้อน
อนาคตของการทำงานร่วมกับ AI บนเดสก์ท็อป
เรามองว่าการอัปเดต “Computer Use” ของ OpenAI Codex ครั้งนี้ เป็นก้าวสำคัญที่สะท้อนให้เห็นถึงวิวัฒนาการของการทำงานร่วมกันระหว่างมนุษย์และ AI บนแพลตฟอร์มเดสก์ท็อป โดยเฉพาะอย่างยิ่งสำหรับนักพัฒนาซอฟต์แวร์ที่ต้องจัดการกับงาน GUI ซับซ้อน หรือการทดสอบซอฟต์แวร์ การที่ AI สามารถทำงานได้แม้หน้าจอจะล็อก แสดงถึงระดับความสามารถและอิสระที่เพิ่มขึ้นอย่างมาก ซึ่งช่วยเพิ่มประสิทธิภาพในการทำงานได้อย่างมหาศาล อย่างไรก็ตาม ประเด็นด้านความปลอดภัยและการให้สิทธิ์เข้าถึงข้อมูลก็ยังคงเป็นเรื่องสำคัญที่ผู้ใช้ควรพิจารณาอย่างรอบคอบ แต่โดยรวมแล้ว นี่คือทิศทางที่น่าจับตาซึ่งจะทำให้การทำงานประจำวันของเราเปลี่ยนไปอย่างแน่นอน
ที่มา: macrumors.com
