AI Peer Review จาก Harvard: X ถก Opus 4.8 รีวิวชนะผู้เชี่ยวชาญ — ตรวจงานเก่งกว่าจริง แต่ยังไม่ได้ตอบว่าใครควรตัดสินตีพิมพ์

ฝั่งนี้อ่านผลตามตัวอักษรและมองว่าเป็นสัญญาณให้เปลี่ยนวิธีทำงาน ไม่ใช่แค่ข่าวน่าสนใจ

• Ethan Mollick สรุปว่า Opus 4.8 “beats human experts as peer reviewers” และวงวิชาการต้อง “adapt the practice of science to AI, fast” (ราว 1,200 ไลก์)
• Yiqing Xu รองศาสตราจารย์รัฐศาสตร์ Stanford เขียนว่ามนุษย์ยังมีบทบาท “but it’s no longer about writing 1,500-word essays to summarize findings, check proofs” และวารสารที่ห้ามใช้ AI ในการรีวิว “should reconsider their position” (ราว 134 ไลก์)
• Brendan Nyhan ยกประโยคจากงานวิจัยมาโพสต์ตรง ๆ ว่า “No matter how we look at the data, AI wins” ส่วน Andrew Piper จาก McGill เขียนว่า “we need to ditch the prior that only humans are good at peer review”
• Mike Israetel ไปไกลกว่านั้น เขามองว่านี่คืออีกก้าวสู่การให้ AI ทำทั้งกระบวนการวิทยาศาสตร์ และคาดว่า “by the mid 2030s” ความก้าวหน้าหนึ่งปีอาจเท่ากับสิบปีในอดีต ข้อนี้เป็นการคาดการณ์ งานของ King ไม่ได้วัดเรื่องนี้

ฝั่งนี้ไม่ได้ปฏิเสธผล แต่แยกว่าตัวเลขไหนแข็งแรง และตัวเลขไหนยังบาง

• Humza Nusrat นักฟิสิกส์การแพทย์ ชี้ว่า 100% มาจากกรรมการที่เป็น AI ส่วน 87% จากบรรณาธิการ “is impressive on its own” แต่สิ่งที่เขาอยากรู้คือ AI จับ “the problems that would change a decision” ได้หรือไม่ เพราะรีวิวอาจละเอียดและเขียนดี แต่ “still miss the one issue that matters”
• Adam Zelizer ผู้ช่วยศาสตราจารย์ที่ Chicago Harris ถาม King ตรง ๆ ว่าบรรณาธิการ 3 คนดู 10 คู่เดียวกันหรือไม่ และบอกว่า “it’s not a huge sample” (เอกสารเขียนว่าสุ่ม 10 คู่แล้วให้บรรณาธิการตัดสิน “independently” ตอนที่เราอ่าน ยังไม่เห็น King ตอบในเธรด)
• Tom Hope นักวิจัย AI2 แนบงานของเขาที่พบว่า LLM ที่ทำหน้าที่กรรมการไวต่อ Prompt มาก เช่น แค่บอกกรรมการว่าผู้รีวิวมองว่าไอเดียหนึ่งใหม่ ก็ “can change its verdict on more than half of the identical idea pairs” ได้ งานนั้นเป็นการประเมินความใหม่ของไอเดีย ไม่ใช่รีวิวบทความ แต่ชี้ความเสี่ยงชนิดเดียวกัน
• บัญชีเล็กหลายบัญชีถามคำถามคล้ายกัน เช่น ผู้วิจัยเปิดเผยกรณีที่ AI เห็นต่างจากผู้รีวิวมนุษย์ที่ดีที่สุดหรือไม่ และบรรณาธิการเดาได้จากสำนวนหรือไม่ว่าฉบับไหนเป็น AI

ฝั่งนี้มองว่าคำว่า “ชนะ” ทำให้เข้าใจหน้าที่ของการรีวิวผิดไป

• John Gallagher ศาสตราจารย์ที่ UIUC เขียนว่า “Metrics are NOT the meaning!” เขายอมรับว่า AI “can still be used to identify errors or mistakes” แต่ขอให้ “stop misunderstanding the very meaning of what it means to a reviewer”
• Chenhao Tan ศาสตราจารย์วิทยาการคอมพิวเตอร์ UChicago เห็นด้วยว่าควรใช้รีวิวจาก AI ในหลายบริบท แต่ “Framing it as winning is not exactly right” เพราะงานวิจัยส่วนใหญ่ของกลุ่มเขายังพบว่ามีบทบาทที่มนุษย์ต้องทำ
• หนึ่งวันก่อนงานของ King ออก นักวิทยาศาสตร์สายเกษตรบัญชีหนึ่งโพสต์ว่า “It is PEER review. Not Ai review.” และขอให้สมาคมวิชาชีพของตัวเองชี้แจงนโยบาย ส่วนนักวิชาการอีกคนตั้งคำถามว่า ถ้า AI ทำได้ดีขึ้นเรื่อย ๆ งานวิจัย การเขียน และการรีวิวจะยังมีความหมายแค่ไหน ในเมื่อเราทำสิ่งเหล่านี้เพื่อแลกเปลี่ยนความคิดระหว่างมนุษย์

ฝั่งนี้กังวลผลระดับทั้งระบบ ไม่ใช่คุณภาพของรีวิวทีละฉบับ

• Joachim Baumann นักวิจัยหลังปริญญาเอกที่ Stanford NLP เขียนว่า “questions of diversity, gameability, and algorithmic monoculture remain” แม้รีวิวจาก AI จะดีขึ้นแล้ว
• Zohar Atkins นักเขียนสายปรัชญาและศาสนา บอกว่า “The risk with AI peer review is unanimity” และยกหลักของศาลซันเฮดรินที่ว่า ถ้าผู้พิพากษาทุกคนเห็นตรงกันให้ลงโทษประหาร จำเลยจะถูกปล่อยตัว
• บัญชีเล็กบัญชีหนึ่งสรุปว่า Peer Review กำลังจะกลายเป็น “one model marking another model’s homework” อีกบัญชีหนึ่งซึ่งเป็นนักวิจัยด้านความเสี่ยงถาม King เรื่อง “correlated error” เมื่อโมเดลที่สถาปัตยกรรมคล้ายกันทั้งเขียนและตัดสิน
• ข้อนี้ผู้วิจัยเขียนไว้เอง ว่ารีวิวจาก AI อาจผลักวิทยาศาสตร์ไปสู่ “homogenous arguments and conclusions” และถ้าวารสารเปิดเผย Prompt ผู้เขียนก็จะแก้งานจนกว่ารีวิวจาก Prompt นั้นจะออกมาดี

ฝั่งนี้ไม่ได้มองว่าเป็นการแทนที่ แต่ให้แยกงานตรวจทางเทคนิคไปให้ AI

• Ray Fisman นักเศรษฐศาสตร์ BU ตอบ Mollick ว่า “This is why we use @RefineDotInk as an “extra” reviewer at AEA journals. But its role is very different from human referees.” ข้อนี้ตรวจได้จาก ประกาศของ AEA ซึ่งระบุว่าใช้ Refine กับบทความที่อยู่ในขั้น revise and resubmit “as a technical check only” และไม่ใช้ประเมินความสำคัญของงานหรือคัดกรองบทความจำนวนมาก
• Kevin Bryan จาก Rotman มหาวิทยาลัย Toronto เสนอให้วารสารใช้ AI ตรวจทางเทคนิคเป็นด่านแรก ให้ผู้เขียนแก้เฉพาะจุดที่เห็นด้วย พร้อม “1-click replication” ข้อมูลเปิดที่ AI อ่านได้ และพิสูจน์แบบ Formal
• Arthur Spirling นักรัฐศาสตร์ เขียนว่า “This is not bad news for humans in the journal review process” เพราะช่วยให้บรรณาธิการและผู้รีวิวได้ข้อมูลมากขึ้น ลดงานจุกจิก และอาจช่วยวารสารที่หาผู้รีวิวยาก

ฝั่งนี้มาจากวงถกเรื่องรายงานรีวิวที่เขียนด้วย AI ซึ่งเริ่มก่อนงานของ King และเข้มข้นขึ้นหลังงานนี้ออก

• Barbara Biasi นักเศรษฐศาสตร์ เปิดเธรดเมื่อ 21 ต.ค. (ราว 526 ไลก์) ว่าถ้ารายงานที่ Pangram บอกว่าเป็น AI 100% เป็นงานห่วย เราก็ไม่ต้องใช้ Pangram ช่วยดู แต่ถ้ารายงานนั้น “reads well and makes good points” แล้ว “does it matter whether it’s AI-written or not?” เพราะเป้าหมายของรายงานคือทำให้บทความดีขึ้น
• Paul Novosad นักเศรษฐศาสตร์ Dartmouth แย้งว่า “Allowing AI-generated ref reports is equivalent to encouraging them” เพราะถูกกว่าการทำเองมาก “If AI ref reports are allowed, human refereeing will disappear” และเขายังเห็นว่ามนุษย์ “have more diverse (and imho better) thoughts” อย่างน้อยในตอนนี้
• บัญชีเล็กบัญชีหนึ่งชี้ว่าสำนักพิมพ์ใหญ่ยังห้ามผู้รีวิวอัปโหลดต้นฉบับเข้าเครื่องมือ AI สาธารณะ “so the better reviewer is the one they’re banned from using” ตัวอย่างหนึ่งคือแนวทางของ AER ซึ่งให้เปิดเผยการใช้ AI และใช้ได้เฉพาะบริการที่ไม่นำข้อมูลไปเทรน
• Bojan Tunguz โพสต์สั้น ๆ ว่า “Peer review has always been crap, but never more than now.” อีกบัญชีหนึ่งยกการทดลอง NeurIPS 2014 มาเป็นฐานเปรียบเทียบว่าระบบเดิมก็มีความไม่แน่นอนสูง (ตรวจตัวเลขในส่วนหลักฐาน)