ลืมหมากรุกไปได้เลย DeepMind ฝึก AI ใหม่ในการเล่นฟุตบอล

ทริสตัน กรีน* กล่าวว่านี่เป็นส่วนหนึ่งของการฝึก AI เพื่อควบคุมหุ่นยนต์ในโลกแห่งความเป็นจริง

นักวิจัยจาก DeepMindห้องทดลอง AI ชั้นนำของสหราชอาณาจักรได้ละทิ้งเกมหมากรุกอันสูงส่งและไปเพื่อความสุขที่มากขึ้น: ฟุตบอล

เมื่อวานนี้ บริษัทในเครือของ Google ได้เผยแพร่รายงานการวิจัยและโพสต์ในบล็อกที่มีรายละเอียดเกี่ยวกับความน่าจะเป็นของระบบประสาท (NPMP) ซึ่งเป็นวิธีการที่ตัวแทนปัญญาประดิษฐ์สามารถเรียนรู้การใช้งานร่างกายได้

ตามโพสต์บล็อก:

NPMP คือโมดูลควบคุมมอเตอร์เอนกประสงค์ที่แปลงความตั้งใจของมอเตอร์ในขอบเขตสั้นเป็นสัญญาณควบคุมระดับต่ำ และได้รับการฝึกแบบออฟไลน์หรือผ่าน RL โดยเลียนแบบข้อมูลการจับการเคลื่อนไหว (MoCap) ที่บันทึกด้วยเครื่องติดตามของมนุษย์หรือสัตว์ที่ทำการเคลื่อนไหว น่าสนใจ.

ขึ้นหน้า

โดยพื้นฐานแล้ว ทีม DeepMind ได้สร้างระบบ AI ที่สามารถเรียนรู้วิธีการทำสิ่งต่างๆ ภายในเครื่องจำลองฟิสิกส์ได้โดยการดูวิดีโอของเจ้าหน้าที่คนอื่นๆ ที่ทำงานเหล่านั้น

และแน่นอน ถ้าคุณมีเครื่องยนต์ฟิสิกส์ขนาดยักษ์และหุ่นยนต์อยากรู้อยากเห็นจำนวนไม่รู้จบ สิ่งเดียวที่ต้องทำคือสอนวิธีเลี้ยงลูกและยิง:

ตามรายงานการวิจัยของทีม:

เราปรับทีมตัวแทนให้เล่นฟุตบอลจำลองผ่านการเรียนรู้การเสริมกำลัง โดยจำกัดพื้นที่ของโซลูชันให้เท่ากับการเคลื่อนไหวที่เป็นไปได้ซึ่งเรียนรู้โดยใช้ข้อมูลการจับการเคลื่อนไหวของมนุษย์

ความเป็นมา: เพื่อที่จะฝึก AI ให้ทำงานและควบคุมหุ่นยนต์ในโลก นักวิจัยต้องเตรียมเครื่องจักรให้พร้อมสำหรับความเป็นจริง

และนอกการจำลองสถานการณ์ อะไรก็เกิดขึ้นได้

เจ้าหน้าที่ต้องรับมือกับแรงโน้มถ่วง พื้นผิวที่ลื่นโดยไม่คาดคิด และการรบกวนโดยไม่ได้ตั้งใจจากสารอื่นๆ

จุดประสงค์ของการฝึกไม่ใช่เพื่อสร้างนักฟุตบอลที่ดีขึ้น — Cristiano Ronaldo ไม่มีอะไรต้องกลัวสำหรับหุ่นยนต์ในตอนนี้ — แต่แทนที่จะช่วยให้ AI และนักพัฒนาหาวิธีเพิ่มประสิทธิภาพความสามารถของตัวแทนในการทำนายผลลัพธ์

เมื่อ AI เริ่มการฝึก มันแทบจะไม่สามารถเคลื่อนย้ายอวาตาร์ฮิวแมนนอยด์ตามฟิสิกส์ไปรอบสนามได้

แต่ด้วยการให้รางวัลแก่ตัวแทนทุกครั้งที่ทีมทำประตูได้ โมเดลดังกล่าวสามารถดึงตัวเลขและดำเนินการได้ภายในเวลาประมาณ 50 ชั่วโมง

หลังจากฝึกฝนมาหลายวัน AI จะเริ่มทำนายว่าลูกบอลจะไปทางไหนและตัวแทนคนอื่นๆ จะตอบสนองต่อการเคลื่อนไหวของลูกบอลอย่างไร

ตามกระดาษ:

ผลที่ได้คือทีมผู้เล่นฟุตบอลฮิวแมนนอยด์ที่ประสานงานกันซึ่งแสดงพฤติกรรมที่ซับซ้อนในระดับต่างๆ คำนวณโดยการวิเคราะห์และสถิติต่างๆ รวมถึงที่ใช้ในการวิเคราะห์กีฬาในโลกแห่งความเป็นจริง

งานของเราเป็นการสาธิตที่สมบูรณ์ของการตัดสินใจแบบบูรณาการที่เรียนรู้ในหลายระดับในสภาพแวดล้อมแบบหลายตัวแทน

ด่วน

งานนี้เริดมาก

แต่เราไม่แน่ใจนักว่ามันแสดงถึง “การสาธิตที่สมบูรณ์” ของสิ่งใดสิ่งหนึ่ง

เห็นได้ชัดว่าโมเดลนี้สามารถใช้ตัวแทนที่เป็นตัวเป็นตนได้

แต่บนพื้นฐานของ เห็นได้ชัดว่าเลือกเชอร์รี่ GIF ในบล็อกโพสต์ งานนี้ยังคงอยู่ในขั้นตอนการจำลองอย่างลึกซึ้ง

สิ่งสำคัญที่สุดคือ AI ไม่ได้ “เรียนรู้” วิธีเล่นฟุตบอล

เป็นการเคลื่อนไหวที่ดุดันภายในขอบเขตของการจำลอง

นั่นอาจดูเหมือนเป็นเรื่องเล็กน้อย แต่ผลลัพธ์ค่อนข้างชัดเจน:

ตัวแทน AI ข้างต้นดูน่ากลัวอย่างยิ่ง

ฉันไม่รู้ว่ามันวิ่งหนีอะไร แต่ฉันแน่ใจว่ามันเป็นสิ่งที่น่ากลัวที่สุดเท่าที่เคยมีมา

มันเคลื่อนไหวเหมือนมนุษย์ต่างดาวที่สวมชุดมนุษย์เป็นครั้งแรกเพราะว่า AI ไม่สามารถเรียนรู้ได้จากการดูไม่เหมือนมนุษย์

ระบบเช่น DeepMind ที่ฝึกฝนการแยกวิเคราะห์วิดีโอหลายพันชั่วโมงและโดยพื้นฐานแล้วจะแยกข้อมูลการเคลื่อนไหวเกี่ยวกับเรื่องที่พวกเขาพยายาม “เรียนรู้”

อย่างไรก็ตาม แทบจะแน่นอนว่าโมเดลเหล่านี้จะแข็งแกร่งขึ้นเมื่อเวลาผ่านไป

เราได้เห็นแล้วว่า Boston Dynamics สามารถทำอะไรกับอัลกอริธึมการเรียนรู้ของเครื่องและการออกแบบท่าเต้นที่ตั้งโปรแกรมไว้ล่วงหน้า

เป็นเรื่องที่น่าสนใจที่จะเห็นว่าโมเดลที่ปรับเปลี่ยนได้ เช่น รุ่นที่พัฒนาโดย DeepMind จะได้ผลหรือไม่ เมื่อพวกเขาก้าวข้ามสภาพแวดล้อมในห้องปฏิบัติการและไปสู่การใช้งานหุ่นยนต์จริง

*ทริสตัน กรีน ครอบคลุมความก้าวหน้าของปัญญาประดิษฐ์ที่เน้นมนุษย์เป็นศูนย์กลาง การเมือง เรื่องแปลก กัญชา และการเล่นเกมสำหรับ The Next Web

บทความนี้ปรากฏตัวครั้งแรกที่ thenextweb.com