เมื่อโมเดล AI ฝึกด้วยข้อมูลหลายแสนล้านโทเค็น แต่ตัวอย่างปนเปื้อนเพียงเศษเสี้ยวกลับสร้างพฤติกรรมผิดปกติได้ งานวิจัย Anthropic พบอะไรจริง และอะไรยังพิสูจน์ไม่ได้?
เอกสารปนเปื้อนจำนวนน้อย ท่ามกลางข้อมูลมหาศาล
ลองนึกภาพโมเดลภาษาเรียนรู้จากข้อมูลหลายแสนล้านโทเค็น ผู้ใช้จำนวนมากคาดว่าข้อมูลที่ไม่ถูกต้องจำนวนเล็กน้อยจะถูก “เจือจาง” จนไม่มีผล แต่การศึกษา Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples ทดสอบกรณีที่แตกต่างออกไป: เอกสารเพียง 250 ชิ้นสามารถสร้าง Backdoor ชนิดหนึ่งได้กับโมเดล 600M, 2B, 7B และ 13B ในการทดลองของทีมวิจัย
Backdoor คือพฤติกรรมที่แอบเชื่อมกับเงื่อนไขเฉพาะหรือ Trigger โดยเมื่อไม่มี Trigger โมเดลยังทำงานปกติ แต่เมื่อพบ Trigger ก็เปลี่ยนไปทำพฤติกรรมที่ไม่ต้องการ การทดลอง Pretraining หลักเป็นการทำให้โมเดลสร้างข้อความไร้ความหมาย (gibberish) ซึ่งผู้วิจัยอธิบายว่าเป็น Denial-of-Service แบบหนึ่ง ไม่ใช่หลักฐานว่าโมเดลทุกรุ่นถูกสั่งให้ละเมิดมาตรการความปลอดภัยได้
งานของ Alexandra Souly และคณะเผยแพร่เมื่อ 8 ตุลาคม 2025 ใน arXiv โดยมีนักวิจัยร่วมจาก UK AI Security Institute, Anthropic, Alan Turing Institute, University of Oxford และ ETH Zurich ผลการทดลองแบบ Pretraining มี 24 การตั้งค่า ทำซ้ำ 3 Seed รวม 72 โมเดล และยังมีการทดลองเพิ่มเติมกับ Fine-tuning และ Simulated Alignment
สิ่งที่ยืนยันได้: Backdoor แบบ DoS สามารถเกิดจากข้อมูลปนเปื้อนจำนวนใกล้เคียงกันตลอดขนาดโมเดลที่ทดลอง 600M–13B
สิ่งที่ยังไม่ยืนยัน: ใช้ได้กับ Frontier Models ทุกขนาด, ใช้ 250 เอกสารกับ Backdoor ทุกชนิด หรือรอดพ้น Realistic Safety Post-training ทั้งหมด
0.00016% เล็กแค่ไหน?
งานวิจัยรายงานว่าตัวอย่างปนเปื้อนประมาณ 420,000 โทเค็นคิดเป็นเพียงราว 0.00016% ของโทเค็นในการฝึกกรณี 13B แผงด้านล่างช่วยเปรียบเทียบสัดส่วนแบบคำนวณ เมื่อใช้โทเค็นปนเปื้อน 420,000 เท่ากันและสมมติปริมาณฝึกตาม Chinchilla-optimal
Interactive Data Ocean
ภาพจำลองเชิงแนวคิด / ไม่ใช่ผลการทดลองใหม่เหตุใดจำนวนที่แทบมองไม่เห็นจึงสำคัญ? เพราะการฝึกให้โมเดลตอบสนองต่อเงื่อนไขเฉพาะอาจขึ้นกับจำนวนครั้งที่เจอตัวอย่างลักษณะเดียวกัน มากกว่าการเปรียบเทียบกับจำนวนโทเค็นสะอาดทั้งหมดอย่างง่าย ๆ ทั้งนี้การทดลองยังไม่ใช่หลักฐานของกฎคงที่สากลที่ใช้ได้กับทุก Dataset หรือทุกเป้าหมายการโจมตี
โมเดลใหญ่ขึ้น 20 เท่า ไม่ได้แปลว่าต้องใช้ Poison 20 เท่า
การทดลองใช้โมเดลตั้งแต่ 600M ถึง 13B พารามิเตอร์ พร้อมขนาดข้อมูลฝึกที่เพิ่มตามจำนวนพารามิเตอร์ ในกรณี Pretraining แบบ DoS จำนวนเอกสารปนเปื้อน 100, 250 และ 500 ทำให้เห็นผลต่างกัน โดย 100 ยังไม่สำเร็จอย่างแข็งแรง ส่วน 250 และ 500 ทำให้เกิดพฤติกรรมเป้าหมายได้ในชุดทดสอบ
Model Scale Explorer
ปุ่มเลือกขนาดด้านบนควบคุมข้อมูลในแผงนี้ด้วย ลองสลับ 600M และ 13B แล้วดูสัดส่วน Clean Data ที่เปลี่ยนไป
| โมเดล | Chinchilla-optimal tokens* | ผล Pretraining DoS เมื่อใช้ 250 เอกสาร |
|---|---|---|
| 600M | 12B | สร้าง Backdoor ได้ |
| 2B | 40B | สร้าง Backdoor ได้ |
| 7B | 140B | สร้าง Backdoor ได้ |
| 13B | 260B | สร้าง Backdoor ได้ |
*คำนวณตาม 20 tokens × จำนวนพารามิเตอร์ (ประมาณการตามแผนการฝึก) และเฉพาะ Chinchilla-optimal ไม่รวมชุด half/twice สำหรับ 600M และ 2B
สิ่งที่น่าประหลาดใจไม่ใช่เพียงจำนวน 250 เอกสาร แต่เป็นการที่สัดส่วนข้อมูลปนเปื้อนลดลงมากในโมเดลขนาดใหญ่กว่า โดยยังเห็นผลการโจมตีในแบบทดลองคล้ายกัน คำว่า “near-constant” จึงต้องอ่านว่าภายในขนาดโมเดลและวิธีโจมตีที่ผู้วิจัยทดสอบ ไม่ใช่จำนวนขั้นต่ำทางคณิตศาสตร์สำหรับทุก AI
Backdoor ไม่จำเป็นต้องทำให้ AI ผิดปกติตลอดเวลา
โมเดลที่มี Backdoor อาจยังตอบคำถามปกติเมื่อไม่มี Trigger การประเมินจึงต้องทดสอบทั้งกรณีปกติและกรณีที่มีเงื่อนไขกระตุ้น การทดลองหลักใช้ข้อความพิเศษเป็น Trigger และวัดการเพิ่มขึ้นของค่า Perplexity เมื่อโมเดลสร้างข้อความไร้ความหมาย
Backdoor Simulator
สาธิตข้อความจำลอง / ไม่เชื่อมต่อ LLMแผงนี้เป็นแอนิเมชันเปรียบเทียบพฤติกรรม ไม่ใช่การโจมตีจริง ไม่ได้ส่งคำสั่งเข้าสู่โมเดล และไม่ใช่หลักฐานว่า AI ตัวใดได้รับผลกระทบ
Perplexity ไม่ใช่อัตราโจมตีสำเร็จเป็นเปอร์เซ็นต์ กราฟ Pretraining ใน Paper ใช้ค่า Perplexity ของผลลัพธ์เพื่อวัดความผิดปกติของข้อความ ขณะที่การทดลอง Fine-tuning อื่นใช้ Attack Success Rate (ASR) ตามเกณฑ์ของงานนั้น ๆ การนำค่าแกน Y ของกราฟมาอ่านเป็น “% สำเร็จ” จึงเป็นความผิดพลาดที่ควรหลีกเลี่ยง
อ่านกราฟต้นฉบับด้วยตัวเอง
เลือกกราฟ Figure 4a–4c เพื่อสำรวจผลสำหรับขนาดโมเดลต่าง ๆ โดยแกน X คือจำนวนตัวอย่างปนเปื้อนที่คาดว่าโมเดลพบระหว่างฝึก และแกน Y คือค่า Average Perplexity ต่อ Token ไม่ใช่ ASR แบบเปอร์เซ็นต์ เส้นทึบเป็นกรณี Triggered และเส้นประเป็น Control
Research Graph Lab
Original Figures
Expected poisons seen
Avg. perplexity per token
เส้นทึบ: Trigger / เส้นประ: No trigger
เครดิตภาพ: Anthropic / Souly et al. (2025) ต้นฉบับ Figure 4a–c จากบทความอธิบายงานวิจัย เลือกปุ่มเพื่อเปลี่ยนภาพจาก Media Library ของ Hybrid Mind
เมื่อเส้นทึบเพิ่มสูงแต่เส้นประยังอยู่ในระดับต่ำ สิ่งนี้สนับสนุนข้อสรุปว่า Trigger กระตุ้นพฤติกรรมผิดปกติได้โดยไม่ทำให้โมเดลเสียสมรรถนะทั่วไปในทุกบริบท แต่แถบแสดงความแปรปรวนและจำนวนการทดลองก็สำคัญ ทีมวิจัยทำซ้ำ 3 Seeds ต่อการตั้งค่าในชุด Pretraining หลัก
เรื่องที่เป็นข้อเท็จจริง และเรื่องที่โพสต์ไวรัลพูดเกินไป
ข้อความไวรัลมักย่อการทดลองหลายแบบให้เหลือประโยคเดียว ทำให้เข้าใจคลาดเคลื่อน เลือกข้อกล่าวอ้างด้านล่างเพื่อดูคำตัดสินพร้อมเงื่อนไขที่ขาดหายไป
Claim vs Evidence Inspector
PARTIALLY SUPPORTEDยืนยันได้เฉพาะโมเดล 600M–13B และ Backdoor แบบที่ทดลอง ไม่ครอบคลุม Frontier Models หรือเป้าหมายการโจมตีทุกชนิด
เปิดหลักฐานต้นฉบับ ↗| การทดลอง | ผลและข้อจำกัด |
|---|---|
| Pretraining · DoS | 250 เอกสารสร้าง Backdoor ได้ในโมเดล 600M–13B ภายใต้เงื่อนไขทดลอง |
| Fine-tuning · Harmful QA | ทดลองแยกบน Llama-3.1-8B-Instruct และ GPT-3.5-turbo; ไม่ควรยืมจำนวนตัวอย่างจากงานเปลี่ยนภาษา |
| Fine-tuning · German Task | GPT-3.5-turbo เกิน 80% ASR ที่ราว 50–90 ตัวอย่างในสามขนาดชุดข้อมูล (Appendix H) |
| Simulated Alignment | Appendix I พบการลดความแรงของ Backdoor เปลี่ยนภาษาในสถานการณ์จำลอง ไม่เท่ากับ RLHF จริงสำหรับทุกโมเดล |
ป้องกันไม่ใช่แค่ “เพิ่มข้อมูลสะอาดให้มากขึ้น”
แนวทางด้านความปลอดภัยต้องทำเป็นชั้น ตั้งแต่ตรวจแหล่งข้อมูลก่อนเข้าชุดฝึก ประเมินโมเดลระหว่างฝึก ไปจนถึงทดสอบพฤติกรรมหลัง Post-training ข้อเสนอด้านล่างเป็นมาตรการลดความเสี่ยงเชิงวิศวกรรม ไม่ใช่รายการที่ Paper พิสูจน์ว่าใช้ได้ผลทุกข้อ
AI Training Security Pipeline
Defensive Checklistระบุที่มาของข้อมูล เวอร์ชันและ Hash; แยกความเชื่อถือของแหล่งข้อมูล; ตรวจรูปแบบข้อความผิดปกติและความซ้ำซ้อน; บันทึกเหตุผลการคัดออก
กดแต่ละขั้นเพื่อดูจุดที่ต้องตรวจสอบ ไม่ใช่ปุ่มเปิดใช้งานมาตรการป้องกันบนเว็บไซต์
ทำไมการฝึกต่อจึงไม่ใช่คำตอบสำเร็จรูป?
Appendix ของงานศึกษาพบว่า Continued Clean Pretraining ทำให้ Backdoor แบบเปลี่ยนภาษาอ่อนลงได้อย่างค่อยเป็นค่อยไป และ Simulated Alignment บางรูปแบบช่วยลด ASR ได้มาก แต่ผู้เขียนระบุชัดว่ายังไม่ได้ทดสอบความอยู่รอดผ่าน Realistic Safety Post-training ของโมเดล Pretraining หลัก จึงไม่ควรสรุปว่าการฝึกสะอาดหรือ RLHF จะล้าง Backdoor ได้ทั้งหมดเสมอไป
ที่มา / Integrity / Filtering
Checkpoint Testing / Regression
Audit Trail / Incident Response
คำถามที่ควรรู้ก่อนแชร์งานวิจัยนี้
Data Poisoning คืออะไร?
การนำข้อมูลที่ถูกดัดแปลงหรือออกแบบให้ชักนำพฤติกรรมไม่พึงประสงค์เข้าสู่ข้อมูลฝึกของโมเดล เป็นความเสี่ยงคนละจังหวะกับ Prompt Injection ซึ่งมักเกิดระหว่างนำข้อมูลไปใช้งาน
250 เอกสารเป็นจำนวนขั้นต่ำที่ใช้ได้กับ AI ทุกตัวหรือไม่?
ไม่ใช่ เป็นจุดทดลองหนึ่งที่ได้ผลกับ Backdoor แบบ DoS ในโมเดล 600M–13B ตามชุดการตั้งค่า ไม่ได้พิสูจน์เกณฑ์สากลสำหรับโมเดลหรือภัยทุกชนิด
งานวิจัยนี้แฮ็ก Claude หรือ ChatGPT ได้แล้วหรือไม่?
ไม่ได้พิสูจน์เช่นนั้น การศึกษาทำบนโมเดลและขั้นตอนฝึกที่ระบุ และไม่ได้สาธิตการยึดระบบผู้ช่วยเชิงพาณิชย์ที่ผ่าน Post-training จริง
ค่า Perplexity สูงแปลว่าโจมตีสำเร็จกี่เปอร์เซ็นต์?
แปลงเป็นเปอร์เซ็นต์โดยตรงไม่ได้ Perplexity เป็นมาตรวัดความน่าจะเป็นของโทเค็น/ความผิดปกติในบริบทการประเมินนี้ ส่วน ASR เป็นตัวชี้วัดอีกชนิดหนึ่งที่กำหนดเกณฑ์แยกต่างหาก
ทำไมข้อมูลสะอาดจำนวนมากไม่เจือจางผลไปเลย?
ในเงื่อนไขที่ทดสอบ โมเดลเรียนรู้ความเชื่อมโยง Trigger–Behavior ได้หลังเห็นตัวอย่างปนเปื้อนจำนวนหนึ่ง จึงไม่สามารถประมาณความปลอดภัยด้วยสัดส่วน Poison Tokens เพียงตัวเดียว
Fine-tuning กับ Pretraining เป็นการทดลองเดียวกันไหม?
ไม่ใช่ Pretraining หลักทดสอบ gibberish DoS ส่วน Fine-tuning เพิ่มชุดทดลอง Harmful QA และ German Language Switching ซึ่งมีโมเดลและมาตรวัดต่างกัน
50–90 ตัวอย่างทำให้ AI ตอบคำถามอันตรายสำเร็จเกิน 80% จริงหรือ?
คำกล่าวนี้ข้ามบริบท 50–90 ตัวอย่างที่อ้างถึงอย่างชัดเจนมาจาก GPT-3.5-turbo German Task ใน Appendix H ไม่ใช่จำนวนที่รับประกันผลกับ Harmful QA
RLHF หรือ SFT สามารถลบ Backdoor ได้หรือไม่?
มีผลจาก Simulated Alignment/SFT ว่าบางกรณีลด ASR ได้มาก แต่ไม่มีหลักฐานจากงานนี้ว่ามาตรการทุกชนิดจะล้าง Backdoor ทุกประเภทผ่าน Post-training จริงได้
AI Agent เสี่ยงถูกสั่งให้ทำสิ่งอันตรายจากผลวิจัยนี้เลยหรือไม่?
เป็นประเด็นที่ควรติดตาม แต่การทดลองนี้ยังไม่ได้ทดสอบ Agentic Backdoor ที่ใช้เครื่องมือ ดึงข้อมูลส่วนตัว หรือดำเนินการในระบบจริง
ถ้าองค์กรจะ Fine-tune เองควรเริ่มที่จุดไหน?
เริ่มจากการติดตามที่มาของข้อมูล คัดกรองตัวอย่างผิดปกติแยกจากข้อมูลสะอาด และทำชุดทดสอบที่เทียบพฤติกรรมก่อน/หลัง Fine-tuning รวมทั้งกรณีมี Trigger และไม่มี Trigger ที่ออกแบบอย่างปลอดภัย
ใส่ความเห็น