BadEngram: แกนหลักโมเดลไม่เปลี่ยน แต่ส่วนความจำซ่อนแบ็กดอร์ได้

Research Breakdown · AI Safety & Security

วันที่ 13 ตุลาคม 2026 Fujitsu Research of Europe และ Pillar Security ประกาศผลร่วมชื่อ BadEngram ประเด็นสำคัญคือการตรวจว่า “แกนหลักโมเดลไม่เปลี่ยน” อาจยังไม่ครอบคลุมส่วนประกอบที่กำหนดพฤติกรรมทั้งหมด อย่างไรก็ตาม วันที่ประกาศข่าวต้องแยกจากวันที่เผยแพร่เปเปอร์ ซึ่งเริ่มตั้งแต่เดือนกันยายน ประกาศ Fujitsu · ประวัติบน arXiv

สิ่งที่เรียกว่า “ความจำ” ในข่าวนี้คืออะไร

คำว่า gated parametric memory หมายถึงส่วนประกอบที่มีพารามิเตอร์เรียนรู้ภายในโมเดล ดึงค่าที่สัมพันธ์กับอินพุตแล้วใช้ gate ควบคุมว่าจะส่งผลต่อการคำนวณภายในมากน้อยเพียงใด จึงต้องแยกจากประวัติแชต ฐานข้อมูล RAG หรือไฟล์ความจำที่ผู้ใช้เพิ่มให้ Agent เปเปอร์ v2 ข้อ 2.1

บทอธิบายของนักวิจัยสรุปกลไกไว้ว่า หลังแก้พารามิเตอร์ความจำ อินพุตที่มี trigger จะเรียกเส้นทางที่ส่งผลต่อคำตอบ ขณะที่อินพุตไม่มี trigger ถูกฝึกให้รักษาพฤติกรรมใกล้ของเดิม นี่คือเหตุผลที่ผลทดสอบทั่วไปอาจไม่เปิดเผยแบ็กดอร์แบบมีเงื่อนไข กลไกจากผู้วิจัย

แกนหลักไม่เปลี่ยน ไม่ได้หมายความว่าไฟล์โมเดลไม่เปลี่ยน

ขอบเขตการทดลองเป็น white-box supply-chain attack: ผู้โจมตีเข้าถึงโมเดลแบบ open-weight และแก้ส่วนที่ระบุได้ จากนั้นไฟล์ที่ถูกแก้ถูกยอมรับให้โหลด ใน Qwen3.8-Flash-Next ส่วน PLE อยู่ใน checkpoint การทดลองจึงเปลี่ยนตัวไฟล์ checkpoint แม้พารามิเตอร์นอกส่วนความจำและโครงสร้างการประมวลผลเดิมยังคงเดิม เปเปอร์ระบุชัดว่าไม่ได้ศึกษาการหลบระบบตรวจความถูกต้องของไฟล์ Threat Model ข้อ 2.2

ดังนั้นหลักฐานรองรับความเสี่ยงจากโมเดลที่ถูกดัดแปลงก่อนนำมาใช้ การเรียกผลนี้ว่า “ส่งข้อความแล้วเจาะบริการผู้ให้บริการได้” จะเกินหลักฐาน บล็อกผู้วิจัยเองระบุว่าไม่ใช่การโจมตีบริการ Qwen ที่โฮสต์อยู่จากระยะไกล ขอบเขตใน Looking Ahead

ตัวเลขที่ประกาศกับเปเปอร์ล่าสุดต่างกัน

ประกาศและบล็อกวันที่ 13 ตุลาคมรายงาน Qwen ที่ 50.4% บน HarmBench และ 60.0% บน AdvBench ซึ่งตรงกับเปเปอร์ v1 เมื่อเทียบกับ v2 วันที่ 30 กันยายน ค่าที่รายงานเปลี่ยนดังตาราง ผู้อ่านจึงควรระบุเวอร์ชันเมื่ออ้างตัวเลข ไม่ผสมสองฉบับเป็นผลชุดเดียว ประกาศ · เปเปอร์ v1 · เปเปอร์ v2

ค่า ± ใน v2 คือ bootstrap standard error ไม่ใช่ช่วงความเชื่อมั่นหรือความน่าจะเป็นที่ผู้ใช้ทั่วไปจะถูกโจมตี ASR เป็นอัตราคำตอบอันตรายในเงื่อนไขทดลอง ทั้งสอง benchmark ใช้ checkpoint ที่ฝึกแยกกัน ผลถูกประเมินด้วย GPT-4o และตรวจคำตอบโดยผู้วิจัย ไม่ใช่การทำซ้ำจากทีมอิสระ

จากเอกสารที่อ่าน เรายังไม่มีคำอธิบายชัดว่าทำไมค่าระหว่างสองเวอร์ชันจึงต่างกัน จึงไม่สรุปว่าเกิดจากการปรับปรุงวิธีโจมตีหรือโมเดลเอง การตรวจพบความต่างนี้เป็นข้อจำกัดของการอ้างผลข่าว ไม่ได้ลบผลทดลองทั้งหมด

DeepSeek แต่ละกรณีต้องแยกกัน

ผล 79.5% ใน DeepSeek-7B เป็นการเพิ่มโมดูล Engram เข้าไปในชุดทดลอง จึงไม่ควรตีความว่าเป็นการพบช่องโหว่ในความจำเดิมของ DeepSeek-7B ส่วนประกาศใหม่กล่าวถึงการทดลองกับ DeepSeek-V4.1-Flash แต่รายละเอียดเฉพาะรุ่นนี้ไม่ปรากฏในเปเปอร์ v2 ที่ตรวจ เราจึงจัดเป็น คำกล่าวของผู้วิจัยที่ยังยืนยันรายละเอียดไม่ได้จากเปเปอร์ฉบับนี้ ไม่จัดว่าเป็นเท็จ และไม่ใช้ผล 7B ไปแทนผล V4.1 ประกาศ Fujitsu · v2 ข้อ 5.2 และภาคผนวก D

เรายืนยันได้ระดับไหน และยังขาดอะไร

• ต้นทาง FOUND: มีประกาศผู้วิจัย เปเปอร์ และประวัติรุ่นให้ตรวจย้อนกลับ v1 ส่งวันที่ 11 กันยายน 2026 และ v2 แก้วันที่ 30 กันยายน ก่อนประกาศ 13 ตุลาคม Submission history
• ผลวิจัยมีขอบเขต: เป็นหลักฐานว่ากลไกเกิดขึ้นได้ในชุดทดลองที่รายงาน ยังไม่ใช่การวัดว่าพบแบ็กดอร์แพร่หลายเพียงใด หรือทุกสถาปัตยกรรมจะให้ผลเดียวกัน Limitations
• สถานะวิชาการ: arXiv ระบุ “Submitted to ICLR 2027” การส่งพิจารณาไม่ใช่หลักฐานว่าได้รับตอบรับหรือผ่าน peer review แล้ว ข้อมูลเปเปอร์
• การยืนยันอิสระยังไม่ครบ: ประกาศ Fujitsu บล็อก fltech และ Pillar มาจากทีมงานร่วมเดียวกัน การค้นในรอบนี้ยังไม่พบผลทำซ้ำอิสระที่ยืนยันครบ ไม่ใช่หลักฐานว่าไม่มีใครทำซ้ำ และ HYBRID MIND ไม่ได้รันการโจมตีหรือทดลองผลิตภัณฑ์จริง

ตรวจไฟล์ครบช่วยอะไร และยังไม่รับประกันอะไร

Pillar แนะนำให้ตรวจโมเดลครบชุดเทียบกับแหล่งอ้างอิงที่เชื่อถือได้ พร้อมพิจารณาที่มา ประวัติการแก้ และรูปแบบที่จะ deploy จริง การสแกนไม่พบมัลแวร์กับการยืนยันว่าพฤติกรรมโมเดลไว้ใจได้เป็นคนละขอบเขต คำแนะนำ Pillar

เปเปอร์เสนอการตรวจเทียบ manifest ที่ลงนามก่อนโหลด ซึ่งช่วยตรวจการเปลี่ยนไฟล์หลังแจกจ่าย แต่ระบุว่าไม่ครอบคลุมไฟล์ที่เป็นอันตรายตั้งแต่ผลิตหรือถูกลงนามอย่างถูกต้องอยู่แล้ว จึงไม่ควรนำคำว่า “hash ตรง” ไปแทนข้อสรุปว่าระบบทั้งหมดปลอดภัย Integrity verification and mitigation

บทวิเคราะห์ HYBRID MIND: ให้ขอบเขตการตรวจตรงกับสิ่งที่เชื่อถือ

ข้อคิดสำหรับทีมที่ใช้โมเดลในองค์กรคือ ตั้งคำถามกับความหมายของผลตรวจแต่ละชิ้น หากตรวจเฉพาะน้ำหนักแกนหลัก คำตอบก็ควรจำกัดว่าชิ้นนั้นไม่เปลี่ยน หากต้องการอนุมัติโมเดลทั้งชุด ควรมีรายการส่วนประกอบและแหล่งอ้างอิงที่ครอบคลุมสิ่งที่จะโหลดจริง เมื่อมีการแปลงไฟล์ บีบอัด หรือเปลี่ยนแพ็กเกจ ก็ควรบันทึกความสัมพันธ์กับต้นฉบับเพื่อให้การตรวจมีความหมาย ขอบเขตการประเมินที่ Pillar อธิบาย

สำหรับ Agent ที่เชื่อมเครื่องมือ ผลนี้เพิ่มคำถามเรื่องโมเดลซึ่งตัดสินใจใช้เครื่องมือ ส่วนข้อจำกัดสิทธิ์และจุดอนุมัติของมนุษย์ยังมีหน้าที่จำกัดผลกระทบในระดับแอปพลิเคชัน ทั้งสองชั้นควรพิจารณาร่วมกัน บทความ AgentMail กับการตรวจอีเมลขาเข้า อธิบายอีกชั้นหนึ่งที่เกี่ยวกับข้อมูลเข้าระบบ ซึ่งเป็นคนละกลไกกับการดัดแปลงไฟล์โมเดลใน BadEngram

คำถามที่พบบ่อย

BadEngram เป็น Prompt Injection หรือไม่?

ประเด็นนี้เป็นการดัดแปลงพารามิเตอร์โมเดลก่อนโหลดตามขอบเขตงานวิจัย ต้องแยกจากคำสั่งแฝงในข้อความภายนอก แม้ทั้งสองกรณีอาจทำให้พฤติกรรมออกนอกความตั้งใจของผู้ใช้

ความจำแชตของผู้ใช้เกี่ยวข้องโดยตรงหรือไม่?

ส่วนความจำที่งานนี้ศึกษาเป็นพารามิเตอร์ในสถาปัตยกรรมโมเดล การเก็บประวัติแชตหรือ RAG ต้องประเมินด้วยหลักฐานของระบบนั้นเอง ไม่ใช้ข่าวนี้ยืนยันช่องโหว่แทนกัน

ผล ASR บอกว่า Qwen ถูกเจาะแล้วหรือไม่?

บอกผลของ checkpoint ที่ผู้วิจัยดัดแปลงและชุดทดสอบที่กำหนด ไม่มีหลักฐานในรายงานนี้ว่าเป็นเหตุการณ์เจาะบริการ Qwen ของผู้ให้บริการ

อ่านข่าวนี้แล้วควรทำอะไร?

ทีม deploy ควรตรวจที่มาและรายการส่วนประกอบครบ ผู้ใช้งานทั่วไปควรดูว่าข่าวพูดถึงชุดทดลองหรือบริการจริง และถามว่าผลถูกทำซ้ำอิสระแล้วหรือยัง

แหล่งอ้างอิงและขอบเขตรายงาน

1. Fujitsu: ประกาศ BadEngram — 13 ตุลาคม 2026
2. Fujitsu Research: Is Your Model Really Safe? — 13 ตุลาคม 2026
3. Pillar: A New Attack Surface in Open-Weight AI Models — 13 ตุลาคม 2026
4. BadEngram เปเปอร์ v1 — 11 กันยายน 2026
5. BadEngram เปเปอร์ v2 — 30 กันยายน 2026
6. arXiv: ประวัติรุ่นและสถานะการส่งพิจารณา

ตรวจต้นทางวันที่ 13 ตุลาคม 2026 รายงานนี้วิเคราะห์หลักฐานที่เผยแพร่ ไม่ใช่ผลทดลองของ HYBRID MIND ภาพทั้งหมดเป็นภาพประกอบแนวคิด ไม่มีตัวอย่าง trigger หรือคำสั่งโจมตี บทวิเคราะห์และข้อคิดแยกจากผลรายงานของผู้วิจัย