การทดลองหมากรุกของ Google เผยวิธีเพิ่มพลังของ AI

กลุ่มของเขาตัดสินใจที่จะค้นหา พวกเขาสร้าง AlphaZero เวอร์ชันใหม่ที่หลากหลาย ซึ่งประกอบไปด้วยระบบ AI หลายระบบที่ฝึกฝนอย่างอิสระและในสถานการณ์ที่หลากหลาย อัลกอริธึมที่ควบคุมระบบโดยรวมทำหน้าที่เป็นตัวจับคู่เสมือนจริง Zahavy กล่าวว่า: อัลกอริธึมที่ออกแบบมาเพื่อระบุว่าตัวแทนคนใดมีโอกาสดีที่สุดที่จะประสบความสำเร็จเมื่อถึงเวลาที่ต้องเคลื่อนไหว เขาและเพื่อนร่วมงานยังได้เขียนโค้ดเป็น “โบนัสความหลากหลาย” ซึ่งเป็นรางวัลสำหรับระบบทุกครั้งที่ดึงกลยุทธ์จากตัวเลือกที่มีให้เลือกมากมาย

เมื่อระบบใหม่ถูกปล่อยให้เล่นเกมของตัวเอง ทีมงานก็สังเกตเห็นความหลากหลายมากมาย ผู้เล่น AI ที่หลากหลายได้ทดลองใช้ช่องเปิดใหม่ๆ ที่มีประสิทธิภาพและการตัดสินใจที่แปลกใหม่แต่ฟังดูดีเกี่ยวกับกลยุทธ์เฉพาะ เช่น เวลาและสถานที่ที่จะปราสาท ในการแข่งขันส่วนใหญ่ เอาชนะ AlphaZero รุ่นดั้งเดิมได้ ทีมงานยังพบว่าเวอร์ชันที่หลากหลายสามารถไขปริศนาท้าทายได้มากกว่าต้นฉบับถึงสองเท่า และสามารถไขปริศนา Penrose ได้มากกว่าครึ่งหนึ่งของแคตตาล็อกทั้งหมด

“แนวคิดก็คือ แทนที่จะค้นหาวิธีแก้ปัญหาหรือนโยบายเดียว ที่จะเอาชนะผู้เล่นคนใดก็ได้ที่นี่ [it uses] แนวคิดเรื่องความหลากหลายเชิงสร้างสรรค์” คัลลีกล่าว

ด้วยการเข้าถึงเกมที่เล่นแล้วหลากหลายมากขึ้น Zahavy กล่าวว่า AlphaZero ที่มีความหลากหลายมีตัวเลือกมากขึ้นสำหรับสถานการณ์ที่ติดขัดเมื่อเกิดขึ้น “ถ้าคุณสามารถควบคุมประเภทของเกมที่มันเห็นได้ คุณก็จะควบคุมได้ว่ามันจะมีลักษณะทั่วไปอย่างไร” เขากล่าว รางวัลที่แท้จริงที่แปลกประหลาดเหล่านั้น (และการเคลื่อนไหวที่เกี่ยวข้อง) อาจกลายเป็นจุดแข็งสำหรับพฤติกรรมที่หลากหลาย จากนั้นระบบจะเรียนรู้ที่จะประเมินและให้คุณค่ากับแนวทางที่แตกต่างกัน และดูว่าเมื่อใดจะประสบความสำเร็จมากที่สุด “เราพบว่าตัวแทนกลุ่มนี้สามารถบรรลุข้อตกลงเกี่ยวกับตำแหน่งเหล่านี้ได้”

และที่สำคัญ ผลกระทบยังขยายไปไกลกว่าหมากรุกอีกด้วย

ความคิดสร้างสรรค์ในชีวิตจริง

Cully กล่าวว่าแนวทางที่หลากหลายสามารถช่วยระบบ AI ใดก็ได้ ไม่ใช่แค่การเรียนรู้แบบเสริมกำลังเท่านั้น เขาใช้ความหลากหลายในการฝึกระบบทางกายภาพมายาวนาน รวมถึงหุ่นยนต์หกขาที่ได้รับอนุญาตให้สำรวจการเคลื่อนไหวประเภทต่างๆ ก่อนที่เขาจะ “ทำร้าย” มันโดยเจตนา ปล่อยให้มันเคลื่อนที่ต่อไปโดยใช้เทคนิคบางอย่างที่มันเคยพัฒนามาก่อน “เราแค่พยายามค้นหาวิธีแก้ปัญหาที่แตกต่างจากวิธีแก้ปัญหาก่อนหน้านี้ทั้งหมดที่เราพบจนถึงตอนนี้” เมื่อเร็วๆ นี้ เขายังร่วมมือกับนักวิจัยเพื่อใช้ความหลากหลายเพื่อระบุตัวยาใหม่ที่มีแนวโน้มดี และพัฒนากลยุทธ์การซื้อขายหุ้นที่มีประสิทธิภาพ

“เป้าหมายคือการสร้างคอลเลกชั่นโซลูชันที่แตกต่างกันหลายพันรายการที่อาจเป็นไปได้ โดยแต่ละโซลูชันจะแตกต่างจากโซลูชันถัดไปอย่างมาก” Cully กล่าว ดังนั้น—เช่นเดียวกับที่ผู้เล่นหมากรุกที่หลากหลายเรียนรู้ที่จะทำ—สำหรับปัญหาทุกประเภท ระบบโดยรวมก็สามารถเลือกวิธีแก้ปัญหาที่ดีที่สุดเท่าที่จะเป็นไปได้ เขากล่าวว่าระบบ AI ของ Zahavy แสดงให้เห็นอย่างชัดเจนว่า “การค้นหากลยุทธ์ที่หลากหลายช่วยในการคิดนอกกรอบและค้นหาวิธีแก้ปัญหา”

Zahavy สงสัยว่าเพื่อให้ระบบ AI มีความคิดสร้างสรรค์ นักวิจัยต้องให้พวกเขาพิจารณาทางเลือกเพิ่มเติม สมมติฐานดังกล่าวชี้ให้เห็นถึงความเชื่อมโยงที่น่าสงสัยระหว่างมนุษย์กับเครื่องจักร บางทีความฉลาดอาจเป็นเพียงเรื่องของพลังในการคำนวณเท่านั้น สำหรับระบบ AI ความคิดสร้างสรรค์อาจขึ้นอยู่กับความสามารถในการพิจารณาและเลือกจากตัวเลือกที่หลากหลายเพียงพอ เมื่อระบบได้รับรางวัลจากการเลือกกลยุทธ์ที่เหมาะสมที่สุด การแก้ปัญหาเชิงสร้างสรรค์ประเภทนี้จึงได้รับการเสริมกำลังและเสริมความแข็งแกร่ง ท้ายที่สุดแล้ว ตามทฤษฎีแล้ว มันสามารถเลียนแบบกลยุทธ์การแก้ปัญหาใดๆ ก็ตามที่ได้รับการยอมรับว่าเป็นกลยุทธ์ที่สร้างสรรค์ในมนุษย์ ความคิดสร้างสรรค์จะกลายเป็นปัญหาทางการคำนวณ

เลียมเพชรรัตน์ตั้งข้อสังเกตว่าระบบ AI ที่หลากหลายไม่น่าจะแก้ไขปัญหาทั่วไปในการเรียนรู้ของเครื่องจักรได้อย่างสมบูรณ์ แต่เป็นการก้าวไปในทิศทางที่ถูกต้อง “เป็นการบรรเทาข้อบกพร่องประการหนึ่ง” เธอกล่าว

ในทางปฏิบัติแล้ว ผลลัพธ์ของ Zahavy สอดคล้องกับความพยายามล่าสุดที่แสดงให้เห็นว่าความร่วมมือสามารถนำไปสู่ประสิทธิภาพที่ดีขึ้นในการทำงานหนักในหมู่มนุษย์ได้อย่างไร เพลงฮิตส่วนใหญ่ในรายชื่อ Billboard 100 เขียนโดยทีมนักแต่งเพลง ไม่ใช่บุคคล และยังมีช่องว่างสำหรับการปรับปรุง แนวทางที่หลากหลายในปัจจุบันมีราคาแพงในการคำนวณ เนื่องจากต้องคำนึงถึงความเป็นไปได้มากกว่าระบบทั่วไป Zahavy ยังไม่มั่นใจว่าแม้แต่ AlphaZero ที่มีความหลากหลายก็สามารถจับภาพความเป็นไปได้ทั้งหมดได้

“ฉันยัง [think] มีวิธีแก้ไขปัญหาที่แตกต่างกัน” เขากล่าว “ฉันไม่ชัดเจนสำหรับฉันว่าจากข้อมูลทั้งหมดในโลกนี้ยังมีอยู่ [only] คำตอบเดียวสำหรับทุกคำถาม”

เรื่องราวดั้งเดิม พิมพ์ซ้ำโดยได้รับอนุญาตจาก นิตยสารควอนต้า สิ่งพิมพ์อิสระของกองบรรณาธิการของ มูลนิธิไซมอนส์ ซึ่งมีภารกิจในการเสริมสร้างความเข้าใจสาธารณะเกี่ยวกับวิทยาศาสตร์โดยครอบคลุมการพัฒนาการวิจัยและแนวโน้มทางคณิตศาสตร์และวิทยาศาสตร์กายภาพและชีวิต