Data World สร้างโลกข้อมูลจำลองให้ Agent ฝึก: คะแนนเพิ่มใน paper แต่ยังไม่มีการทำซ้ำอิสระ

คำตอบสั้น: งานวิจัย Data World: Scaling Data Environments from Scratch เสนอวิธีสร้าง “โลกข้อมูล” จำลองที่มีไฟล์ ตาราง และความสัมพันธ์ของข้อมูล เพื่อฝึกและประเมิน data agent โดยผู้เขียนรายงานว่ารุ่นที่ฝึกด้วยแนวทางนี้ได้คะแนนสูงขึ้นใน benchmark หลายชุดเมื่อเทียบกับ baseline ภายใต้การตั้งค่าที่ระบุ แต่ตัวเลขเป็นผลจาก paper preprint ฉบับเดียว ยังไม่มีการทำซ้ำอิสระ และไม่ได้พิสูจน์ว่าโจทย์สังเคราะห์แทนงานของผู้ใช้จริงได้ครบ

บทความนี้สรุปผลตาม arXiv v1 วันที่ 15 ตุลาคม 2026 (เวลา UTC) และแยกผลที่ผู้เขียนรายงานออกจากข้อสรุปที่ยังทำไม่ได้ เราไม่ได้ติดตั้งหรือรันโมเดล

โจทย์ที่งานพยายามแก้: Agent ต้องทำงานกับข้อมูลที่ไม่สมบูรณ์

การประเมิน agent ด้วยคำถามสั้น ๆ หรือไฟล์ที่จัดให้สะอาดเรียบร้อยอาจไม่สะท้อนงานวิเคราะห์ข้อมูลที่ต้องค้นหาไฟล์ เข้าใจโครงสร้าง สืบเหตุผลจากหลายตาราง และรับมือกับข้อมูลที่ขาดหรือคลุมเครือ ผู้เขียนจึงสร้างสภาพแวดล้อมที่มี “โลก” ภายในซึ่งกำหนดความจริงและความสัมพันธ์ไว้ แล้วแสดงให้ agent เห็นเป็นไฟล์และข้อมูลที่อาจไม่สมบูรณ์เหมือนงานจริง

ภาพรวมตาม paper คือกำหนด dependency graph และสัญญาของโลก สร้าง canonical state จากนั้นฉายออกเป็นไฟล์ที่ agent ใช้ได้ ผู้เขียนเพิ่มการตรวจว่ากลไกและคำตอบเป้าหมายกู้คืนได้ ก่อนสร้างโจทย์พร้อม rubric แล้วนำ agent ไปทำงาน การตรวจแยกโดย agent/session อื่นเป็นส่วนหนึ่งของ pipeline ของผู้เขียน ไม่ใช่การตรวจรับรองโดยผู้ประเมินภายนอก

ขนาดชุดข้อมูลไม่ได้บอกว่าโจทย์เหมือนงานจริง

จาก paper ผู้เขียนสร้างโลกต้นแบบ 1,302 ชุดและคงไว้ 1,087 ชุด โดยแบ่งเป็นโลกฝึก 1,037 ชุดและโลกทดสอบที่กันออก 50 ชุด ชุดฝึกมี 2,135 งาน ส่วน benchmark DataWorld-Bench ใช้ 100 งานจากโลกทดสอบ ครอบคลุม 16 โดเมนและ 10 โมเดลที่นำมาประเมิน ผู้เขียนรายงานว่าโลกทดสอบผ่าน audit checks ทั้งหมด ขณะที่อัตราผ่านการตรวจ DAG edge ในโลกฝึกอยู่ที่ 95.98%

ตัวเลขเหล่านี้บอกขอบเขตการสร้างและคัดกรองของชุดข้อมูล ไม่ได้แปลว่าโจทย์ครอบคลุมคำขอจริงของผู้ใช้ หรือว่า audit ผ่านแล้วจะแปลว่า agent ปลอดภัยในการเชื่อมระบบ production ผู้เขียนยังให้ผู้ประเมินมนุษย์ 15 คนช่วยคัดความสมจริงของคำถาม แต่การประเมินความสมจริงไม่เท่ากับการยืนยันความถูกต้องเชิงปฏิบัติการหรือการแทนการกระจายงานของผู้ใช้

คะแนนเพิ่มตามรายงานของผู้เขียน แต่เป็นคนละมาตรวัด

paper เปรียบเทียบ DataWorld-35B-A3B ที่ผ่านการฝึกกับ Qwen3.6-35B-A3B โดยใช้ mini-swe-agent protocol เดียวกันตามที่ผู้เขียนอธิบาย ค่าในตารางเป็นคะแนนเฉลี่ยที่แสดงบนสเกลคูณ 100 และจำนวนตัวอย่างแตกต่างกันในแต่ละชุด ผลที่รายงานคือ DataWorld-Bench เพิ่ม 7.06 จุด (37.64 เป็น 44.70; n=100), DAComp เพิ่ม 14.28 จุด (53.72 เป็น 68.00; n=200), DABstep-Hard เพิ่ม 20.90 จุด (25.66 เป็น 46.56; n=378) และ JobBench เพิ่มประมาณ 12.13 จุดจากค่าที่ปัดเศษ (18.31 เป็น 30.43; n=65)

อย่าอ่านตัวเลขเหล่านี้เป็นเปอร์เซ็นต์การพัฒนาสัมพัทธ์หรือคะแนนรวมหนึ่งเดียว: DataWorld-Bench และ DAComp ใช้ rubric; DABstep-Hard ใช้การตรวจแบบผ่าน/ไม่ผ่าน; JobBench รวม rubric ตามงานอาชีพ ผลใน DataWorld-Bench และ DAComp ใช้ Gemini-3.8-Flash ประเมินแบบ single pass ส่วน DABstep ใช้การตรวจอัตโนมัติ จำนวนตัวอย่างและกติกาจึงไม่เหมือนกัน อีกทั้ง paper ไม่รายงาน p-value หรือช่วงความเชื่อมั่นของ gain เหล่านี้ จึงไม่ควรเรียกว่า “มีนัยสำคัญทางสถิติ”

เลือก benchmark เพื่ออ่านผลและข้อจำกัดของมาตรวัด

อะไรอาจอธิบายผล และอะไรยังเป็นช่องว่าง

การฝึกของผู้เขียนใช้ reward ที่ให้คะแนนโดย Qwen3.6 base model เอง ส่วนการประเมินผลบางชุดใช้ผู้ตัดสิน LLM ต่างหาก การเปรียบเทียบจึงสะท้อนทั้ง recipe การฝึก ข้อมูลสังเคราะห์ และการตั้งค่าประเมิน ไม่สามารถแยกได้ว่า gain มาจากองค์ประกอบใดเพียงอย่างเดียว ผู้เขียนไม่ได้ทำ controlled ablation เปรียบเทียบประสิทธิผลของข้อมูลสังเคราะห์กับข้อมูลจริงโดยตรง และยอมรับว่ารูบริกอาจพลาด insight ที่ถูกต้องบางแบบหรือมีอคติจาก LLM judge

การตรวจ general capability ที่ paper รายงานก็ไม่ได้ชี้ว่าดีขึ้นทุกด้าน: MMLU-Pro คงที่ที่ 84.73 ขณะที่ LiveCodeBench-Hard ลดจาก 71.14 เป็น 70.29 (−0.85 จุด) และ SimpleQA-Verified F1 เพิ่มจาก 22.20 เป็น 24.00 นี่เป็นผลที่รายงานโดยผู้เขียนเช่นกัน ไม่ใช่การทดสอบซ้ำ และไม่รองรับข้อสรุปว่า coding ดีขึ้นหรือปัญหาความถูกต้องทั่วไปได้รับการแก้แล้ว

โมเดลที่ระบุมี 35B พารามิเตอร์รวมและ 3B active ตามชื่อ/การ์ดโมเดล แต่ active parameters ไม่ได้แปลว่าต้องใช้หน่วยความจำเท่ากับโมเดล 3B; model card ระบุไฟล์ weights 70.21 GB งานนี้ไม่ได้ติดตั้งหรือทดลองรันโมเดล

สถานะของ paper และไฟล์เผยแพร่

แหล่งต้นทางคือ arXiv v1 ส่งวันที่ 15 ตุลาคม 2026; หน้าที่ตรวจไม่แสดงวารสารหรือ venue peer review จึงเรียกงานนี้ว่า preprint ตามสถานะที่เห็น GitHub repository ไม่มีไฟล์ LICENSE ที่มองเห็นได้ จึงยังยืนยัน license ของ code ไม่ได้ แยกจากหน้า model และ dataset บน Hugging Face ที่ระบุ Apache-2.0 ส่วนตัว paper ระบุ CC BY-NC-ND 4.0 การระบุ license ของ artifact แต่ละส่วนจึงไม่ควรเหมารวมกัน และการที่มี weights/dataset สาธารณะไม่พิสูจน์ความพร้อมใช้แบบ turnkey

ข้อสรุป: Data World เป็นวิธีสร้างสภาพแวดล้อมสังเคราะห์ที่น่าสนใจสำหรับการฝึกและวัด data agents และผลใน paper ให้เหตุผลพอสำหรับการตรวจซ้ำต่อ แต่ยังเป็นหลักฐานจากทีมผู้เขียนเอง ไม่ใช่การยืนยันอิสระว่าสเกลข้อมูลสังเคราะห์จะถ่ายโอนไปสู่งานจริงหรือระบบ production ได้

คำถามที่พบบ่อย

ผลคะแนนเป็นเปอร์เซ็นต์ที่ดีขึ้นหรือไม่?

ไม่ ตัวเลขที่ยกเป็นส่วนต่างของคะแนนในสเกลที่แสดง ไม่ใช่เปอร์เซ็นต์สัมพัทธ์ และแต่ละ benchmark มีวิธีให้คะแนนกับจำนวนตัวอย่างต่างกัน

มีใครทำซ้ำผลอย่างอิสระแล้วหรือยัง?

เราไม่พบการทำซ้ำอิสระสำหรับ preprint นี้ในแหล่งที่ตรวจ ณ เวลาจัดทำ จึงควรอ่านผลเป็นผลที่ผู้เขียนรายงาน

“Audit ผ่าน” แปลว่าโจทย์เหมือนงานจริงหรือปลอดภัยต่อ production ไหม?

ไม่ การตรวจที่อธิบายใน paper เช็กความสอดคล้องของกลไกและการกู้คืนเป้าหมายภายในสภาพแวดล้อมที่สร้างขึ้น ไม่ได้ยืนยันความครอบคลุมของงานจริงหรือความปลอดภัยในการเชื่อมต่อระบบจริง

GitHub code เป็น Apache-2.0 หรือไม่?

ยังยืนยันไม่ได้ เพราะ repository ที่ตรวจไม่มี LICENSE ที่มองเห็นได้ แม้หน้า model และ dataset บางรายการบน Hugging Face จะระบุ Apache-2.0 ก็ตาม

อ่านต่อ: จากโลกจำลองสู่งาน Agent จริง

ผลที่ได้จากสภาพแวดล้อมจำลองยังต้องแยกจากผลในระบบงานจริง อ่านต่อเรื่อง Business Arena: การจำลองก่อนให้ AI Agent ใช้เงินร้าน และ AI Readiness 2026: วิธีวัดหลักฐานและผลลัพธ์ก่อนขยาย Agent เพื่อเทียบวิธีประเมินกับข้อจำกัดของแต่ละสถานการณ์

แหล่งอ้างอิง

• arXiv: Data World: Scaling Data Environments from Scratch (v1, 15 ต.ค. 2026)
• บทความฉบับเต็มและตารางผล
• GitHub repository · project documentation
• Model card · DataWorld-Bench
• Training data part 1 · Training data part 2

หมายเหตุการตรวจสอบ: ตรวจต้นฉบับและหน้าโครงการเมื่อ 16 ตุลาคม 2026; ไม่ได้ติดตั้งหรือทดลองใช้โมเดล