ลืมหมากรุกไปได้เลย DeepMind ฝึก AI ใหม่เพื่อเล่นฟุตบอล
นักวิจัยจาก DeepMind ซึ่งเป็นแล็บ AI ชั้นนำของสหราชอาณาจักรได้ละทิ้งเกมหมากรุกอันสูงส่งและไปเพื่อความสุขที่มากขึ้น: ฟุตบอล
เมื่อวานนี้ บริษัทในเครือของ Google ได้เผยแพร่รายงานการวิจัยและโพสต์ในบล็อกที่มีรายละเอียดเกี่ยวกับความน่าจะเป็นของระบบประสาท (NPMP) ซึ่งเป็นวิธีการที่ตัวแทนปัญญาประดิษฐ์สามารถเรียนรู้การใช้งานร่างกายได้
ตามโพสต์บล็อก:
NPMP คือโมดูลควบคุมมอเตอร์เอนกประสงค์ที่แปลงความตั้งใจของมอเตอร์ในขอบเขตสั้นเป็นสัญญาณควบคุมระดับต่ำ และได้รับการฝึกแบบออฟไลน์หรือผ่าน RL โดยเลียนแบบข้อมูลการจับการเคลื่อนไหว (MoCap) ที่บันทึกด้วยเครื่องติดตามของมนุษย์หรือสัตว์ที่ทำการเคลื่อนไหว น่าสนใจ.
ลงทะเบียนเพื่อรับจดหมายข่าวการประชุม TNW
และเป็นคนแรกในคิวสำหรับข้อเสนอตั๋ว ข่าวกิจกรรม และอื่นๆ อีกมากมาย!
ขึ้นหน้า: โดยพื้นฐานแล้ว ทีม DeepMind ได้สร้างระบบ AI ที่สามารถเรียนรู้วิธีการทำสิ่งต่างๆ ภายในเครื่องจำลองฟิสิกส์ได้โดยการดูวิดีโอของเจ้าหน้าที่คนอื่นๆ ที่ทำงานเหล่านั้น
และแน่นอน ถ้าคุณมีเครื่องยนต์ฟิสิกส์ขนาดยักษ์และหุ่นยนต์อยากรู้อยากเห็นจำนวนไม่รู้จบ สิ่งเดียวที่ต้องทำคือสอนวิธีเลี้ยงลูกและยิง:
ตามรายงานการวิจัยของทีม:
เราปรับทีมตัวแทนให้เล่นฟุตบอลจำลองผ่านการเรียนรู้การเสริมกำลัง โดยจำกัดพื้นที่ของโซลูชันให้เท่ากับการเคลื่อนไหวที่เป็นไปได้ซึ่งเรียนรู้โดยใช้ข้อมูลการจับการเคลื่อนไหวของมนุษย์
พื้นหลัง: เพื่อฝึก AI ให้ทำงานและควบคุมหุ่นยนต์ในโลก นักวิจัยต้องเตรียมเครื่องจักรให้พร้อมสำหรับความเป็นจริง และนอกการจำลองสถานการณ์ อะไรก็เกิดขึ้นได้ เจ้าหน้าที่ต้องรับมือกับแรงโน้มถ่วง พื้นผิวที่ลื่นโดยไม่คาดคิด และการรบกวนโดยไม่ได้ตั้งใจจากสารอื่นๆ
จุดประสงค์ของการฝึกไม่ใช่เพื่อสร้างนักฟุตบอลที่ดีขึ้น — Cristiano Ronaldo ไม่มีอะไรต้องกลัวสำหรับหุ่นยนต์ในตอนนี้ — แต่แทนที่จะช่วยให้ AI และนักพัฒนาหาวิธีเพิ่มประสิทธิภาพความสามารถของตัวแทนในการทำนายผลลัพธ์
เมื่อ AI เริ่มการฝึก มันแทบจะไม่สามารถเคลื่อนย้ายอวาตาร์ฮิวแมนนอยด์ตามฟิสิกส์ไปรอบสนามได้ แต่ด้วยการให้รางวัลแก่ตัวแทนทุกครั้งที่ทีมทำประตูได้ โมเดลดังกล่าวสามารถดึงตัวเลขและดำเนินการได้ภายในเวลาประมาณ 50 ชั่วโมง หลังจากฝึกฝนมาหลายวัน AI จะเริ่มทำนายว่าลูกบอลจะไปทางไหนและตัวแทนคนอื่นๆ จะตอบสนองต่อการเคลื่อนไหวของลูกบอลอย่างไร
ตามกระดาษ:
ผลที่ได้คือทีมผู้เล่นฟุตบอลฮิวแมนนอยด์ที่ประสานงานกันซึ่งแสดงพฤติกรรมที่ซับซ้อนในระดับต่างๆ คำนวณโดยการวิเคราะห์และสถิติต่างๆ รวมถึงที่ใช้ในการวิเคราะห์กีฬาในโลกแห่งความเป็นจริง งานของเราเป็นการสาธิตที่สมบูรณ์ของการตัดสินใจแบบบูรณาการที่เรียนรู้ในหลายระดับในสภาพแวดล้อมแบบหลายตัวแทน
ใช้เวลาอย่างรวดเร็ว: งานนี้เริดมาก แต่เราไม่แน่ใจนักว่ามันแสดงถึง “การสาธิตที่สมบูรณ์” ของสิ่งใดสิ่งหนึ่ง เห็นได้ชัดว่าโมเดลนี้สามารถใช้ตัวแทนที่เป็นตัวเป็นตนได้ แต่บนพื้นฐานของ เห็นได้ชัดว่าเลือกเชอร์รี่ GIF ในบล็อกโพสต์ งานนี้ยังคงอยู่ในขั้นตอนการจำลองอย่างลึกซึ้ง
สิ่งสำคัญที่สุดคือ AI ไม่ได้ “เรียนรู้” วิธีเล่นฟุตบอล เป็นการเคลื่อนไหวที่ดุดันภายในขอบเขตของการจำลอง นั่นอาจดูเหมือนเป็นเรื่องเล็กน้อย แต่ผลลัพธ์ค่อนข้างชัดเจน:
ตัวแทน AI ข้างต้นดูน่ากลัวอย่างยิ่ง ฉันไม่รู้ว่ามันวิ่งหนีอะไร แต่ฉันแน่ใจว่ามันเป็นสิ่งที่น่ากลัวที่สุดเท่าที่เคยมีมา
มันเคลื่อนไหวเหมือนมนุษย์ต่างดาวที่สวมชุดมนุษย์เป็นครั้งแรกเพราะว่า AI ไม่สามารถเรียนรู้ได้จากการดูไม่เหมือนมนุษย์ ระบบเช่น DeepMind ที่ฝึกฝนการแยกวิเคราะห์วิดีโอหลายพันชั่วโมงและโดยพื้นฐานแล้วจะแยกข้อมูลการเคลื่อนไหวเกี่ยวกับเรื่องที่พวกเขาพยายาม “เรียนรู้”
อย่างไรก็ตาม แทบจะแน่นอนว่าโมเดลเหล่านี้จะแข็งแกร่งขึ้นเมื่อเวลาผ่านไป เราได้เห็นแล้วว่า Boston Dynamics สามารถทำอะไรกับอัลกอริธึมการเรียนรู้ของเครื่องและการออกแบบท่าเต้นที่ตั้งโปรแกรมไว้ล่วงหน้า
เป็นเรื่องที่น่าสนใจที่จะเห็นว่าโมเดลที่ปรับเปลี่ยนได้ เช่น รุ่นที่พัฒนาโดย DeepMind จะได้ผลหรือไม่ เมื่อพวกเขาก้าวข้ามสภาพแวดล้อมในห้องปฏิบัติการและไปสู่การใช้งานหุ่นยนต์จริง
