Executive Answer
เมื่อ Agent ต้องเลือกแผนภายใต้ความไม่แน่นอน การดูแค่ต้นทุนเฉลี่ยอาจทำให้เลือกทางที่ดูคุ้มแต่มีโอกาสเกิดความเสียหายสูง Conditional Value-at-Risk หรือ CVaR ช่วยตอบอีกคำถามหนึ่งว่า “ถ้าเกิดผลลัพธ์ที่แย่ที่สุดตามสัดส่วนที่กำหนด ต้นทุนเฉลี่ยในกลุ่มนั้นเป็นเท่าไร” ตัวชี้วัดนี้ทำให้ผู้วางแผนเห็นความรุนแรงของผลลัพธ์ปลายหาง ขณะที่ค่าเฉลี่ยอาจซ่อนไว้
บทความนี้ใช้แบบจำลองเล็กที่ตรวจเลขได้เอง มีสามนโยบายและต้นทุนปลายทางที่ทราบการแจกแจงแน่นอน นโยบาย Fast มีต้นทุนเฉลี่ยต่ำสุดที่ 5 หน่วย แต่ใน 10% ของผลลัพธ์ที่แย่ที่สุดมีต้นทุนเฉลี่ย 50 หน่วย นโยบาย Buffered มีค่าเฉลี่ย 12.48 หน่วย และ CVaR ส่วนหาง 10% เท่ากับ 16.8 หน่วย ส่วนนโยบาย Safe มีต้นทุนคงที่ 20 หน่วย ดังนั้นค่าเฉลี่ยเลือก Fast, CVaR เลือก Buffered และค่าสูงสุดในชุดผลลัพธ์ที่ระบุเลือก Safe
ผลนี้สาธิตว่าเกณฑ์ความเสี่ยงเปลี่ยนทางเลือกได้อย่างไร ไม่ได้พิสูจน์ว่านโยบายใดดีที่สุดในทุกสถานการณ์ หรือว่า CVaR ป้องกันเหตุการณ์ที่แบบจำลองไม่ได้ใส่ไว้ หากใช้ในระบบจริง ผู้พัฒนาต้องกำหนดต้นทุน ความน่าจะเป็น และระดับความเสี่ยงให้เหมาะกับงาน ตรวจขอบเขตแบบจำลอง และแยกการประเมินนโยบายออกจากการเรียนรู้นโยบาย
Why Tail Risk Changes a Plan
ต้นทุนคาดหมายเป็นเครื่องมือที่ตรงไปตรงมา: คูณต้นทุนของแต่ละเหตุการณ์ด้วยโอกาสเกิด แล้วรวมกัน แต่การเฉลี่ยเช่นนี้ให้น้ำหนักกับทุกผลลัพธ์ตามโอกาสของมัน เหตุการณ์ที่เกิดไม่บ่อยแต่เสียหายหนักจึงอาจมีอิทธิพลน้อยต่อค่าเฉลี่ย แม้ผลลัพธ์นั้นจะไม่ยอมรับได้สำหรับการใช้งานบางชนิด
คำว่า “ส่วนหาง” หมายถึงช่วงของผลลัพธ์ที่ต้นทุนสูงที่สุดในแบบจำลอง ถ้าเลือกส่วนหาง 10% ก็จะพิจารณาผลลัพธ์ที่กินพื้นที่ความน่าจะเป็นรวม 10% จากด้านต้นทุนสูง แล้วหาค่าเฉลี่ยของต้นทุนในกลุ่มนั้น ข้อสำคัญคือขอบเขตอาจตัดผ่านผลลัพธ์ที่มีความน่าจะเป็นเป็นก้อน จึงต้องนับเพียงส่วนที่จำเป็นของก้อนนั้นให้ครบ 10% ไม่ใช่เอาทั้งก้อนมารวม
Scientific Foundations
นิยาม CVaR สำหรับต้นทุนและสูตร minimization อ้างอิงจาก Chow et al. (2015); การจัดการ quantile atom ในการแจกแจงไม่ต่อเนื่องอ้างอิง Rockafellar และ Uryasev, author manuscript dated November 28, 2001 (journal article 2002).
นิยาม CVaR และหน่วยความเสี่ยง
ให้ L เป็นตัวแปรสุ่มแทนต้นทุน และให้ β เป็นสัดส่วนมวลความน่าจะเป็นในหางด้านต้นทุนสูง โดย 0 < β ≤ 1 CVaR แบบต้นทุนเขียนได้เป็น
CVaR_β(L) = min_t { t + E[(L - t)+] / β }
ในสูตรนี้ t เป็นค่าขอบเขตที่เลือกให้เหมาะกับการแจกแจง E คือค่าคาดหมาย และ (x)+ = max(x, 0) คือส่วนบวกของ x สูตรจะหาค่าขอบเขตที่ทำให้ผลรวมระหว่างขอบเขตกับค่าเสียส่วนเกินที่ปรับด้วย β ต่ำที่สุด เมื่อ β = 0.1 เราอ่านค่าเป็นค่าเฉลี่ยของต้นทุนในหางที่แย่ที่สุด 10% เมื่อ β = 1 จะเท่ากับค่าเฉลี่ยทั้งหมด และเมื่อ β เข้าใกล้ศูนย์ ค่า CVaR จะเข้าใกล้ต้นทุนสูงสุดใน support ของแบบจำลอง
เอกสารวิจัยใช้สัญลักษณ์ระดับความเสี่ยงต่างกัน Chow, Tamar, Mannor และ Pavone ใช้ α เป็นมวลหางโดยตรง ดังนั้น α = 0.1 หมายถึงหาง 10% ส่วน Rockafellar และ Uryasev ใช้ α เป็นระดับความเชื่อมั่น โดยมวลหางคือ 1 - α ดังนั้นระดับความเชื่อมั่น 90% ของงานหลังตรงกับ β = 0.1 ในบทความนี้จะใช้ β เป็นมวลหางเสมอ เพื่อไม่ให้สับสนระหว่าง 10% ที่ต้องการเฉลี่ยกับ 90% ที่อยู่ด้านล่าง quantile
ทำไมการมีผลลัพธ์ซ้ำกันจึงสำคัญ
ในข้อมูลแบบไม่ต่อเนื่อง ผลลัพธ์หลายเหตุการณ์อาจมีต้นทุนค่าเดียวกัน และมีโอกาสเกิดเป็นมวลก้อนที่จุดเดียวกัน หากขอบเขตหางตัดผ่านมวลก้อนนี้ การนิยาม CVaR อย่างถูกต้องต้องแบ่งมวลความน่าจะเป็นตรงขอบเขตเพื่อให้หางมีขนาดรวมตามที่กำหนด Rockafellar และ Uryasev อธิบายการแบ่งมวลที่ quantile นี้ไว้สำหรับ loss distribution ทั่วไป รวมถึงกรณีมีอะตอมของความน่าจะเป็น
นี่เป็นสาเหตุที่ไม่ควรคำนวณ CVaR ด้วยการเฉลี่ยทุกค่าที่ “มากกว่าหรือเท่ากับ VaR” โดยไม่ตรวจน้ำหนัก หากที่ VaR มีมวลมากกว่าที่หางต้องการ วิธีดังกล่าวจะนับผลลัพธ์เกินสัดส่วน และค่าที่ได้อาจผิดไปจากสูตร minimization แบบมาตรฐาน บทความของ Chow และคณะก็เตือนว่าการตีความ CVaR เป็นค่าเฉลี่ยแบบมีเงื่อนไขใช้ได้เมื่อไม่มีอะตอมที่จุด VaR เท่านั้น
System Architecture
ตัวอย่างนี้มีส่วนประกอบที่แยกจากกันชัดเจน: ตัวแบบระบุการแจกแจงต้นทุนของแต่ละนโยบาย ตัวตรวจสอบข้อมูลยืนยันว่าความน่าจะเป็นรวมเป็นหนึ่งและต้นทุนอยู่ในรูปแบบที่ใช้ได้ ตัวคำนวณหาค่าเฉลี่ย CVaR และค่าสูงสุด จากนั้นตัวเลือกนโยบายจัดอันดับตามเป้าหมายที่ผู้ใช้เลือก การแยกโมดูลทำให้ตรวจสอบแหล่งที่มาของตัวเลขและเหตุผลที่เลือกแผนได้
โครงสร้างข้อมูลผลลัพธ์อาจเขียนเป็นรายการ {id, cost, probability} โดยแต่ละแถวแทนผลลัพธ์ปลายทาง เช่น {id: "failure", cost: 100, probability: 0.05} และ {id: "normal", cost: 0, probability: 0.95} ตัวตรวจสอบไม่ควรยอมให้มีความน่าจะเป็นติดลบ หายไป หรือรวมกันไม่เท่ากับหนึ่งตาม tolerance ที่ตั้งไว้ ต้องระบุหน่วยต้นทุนให้สอดคล้องกัน และต้องแจ้งว่าเหตุการณ์ใดถูกตัดออกหรือรวมไว้แล้ว
โมดูลคำนวณ CVaR เรียงต้นทุนจากมากไปน้อย แล้วจัดสรรมวลความน่าจะเป็นให้ครบ β เริ่มที่ผลลัพธ์ต้นทุนสูงที่สุดและค่อยลงมา หากมวลของผลลัพธ์สุดท้ายเกินจำนวนที่ยังขาด ให้รับเฉพาะส่วนที่ต้องใช้ นำต้นทุนคูณน้ำหนักที่รับมา บวกกัน แล้วหารด้วย β วิธี tail allocation นี้ทำให้การคำนวณอ่านง่ายสำหรับการแจกแจงแบบจำกัด และช่วยให้ผู้ตรวจสอบเห็นว่ามีการแบ่งอะตอมตรงขอบหางอย่างไร สูตร minimization ด้านบนเป็นนิยามทั่วไปที่สอดคล้องกัน แม้จะมีการแจกแจงที่ต่อเนื่องก็ตาม
Operational Flow
การไหลของงานเริ่มจากผู้ใช้กำหนดเป้าหมายความเสี่ยงและส่งชุดการแจกแจง จากนั้นระบบตรวจข้อมูล คำนวณตัวชี้วัด แล้วแสดงการจัดอันดับ ผู้ใช้ยังคงเป็นผู้รับผิดชอบว่าต้นทุนและความน่าจะเป็นสะท้อนบริบทจริงหรือไม่ ขั้นตอนนี้จึงเป็นการประเมินแผนตามแบบจำลองที่กำหนดไว้ ไม่ใช่การรับรองแผนในโลกจริง
ตัวอย่างกระบวนการทีละขั้นมีดังนี้: (1) เลือกนโยบาย Safe, Fast หรือ Buffered ก่อนทราบผลปลายทาง (2) ระบุผลลัพธ์และความน่าจะเป็นภายใต้นโยบายนั้น (3) ตรวจว่าเหตุการณ์ครอบคลุมผลลัพธ์ที่ตั้งใจจำลองและผลรวมความน่าจะเป็นถูกต้อง (4) คำนวณค่าเฉลี่ยและค่าสูงสุด (5) จัดสรรน้ำหนักให้ส่วนหางตาม β เพื่อหาค่า CVaR (6) เปรียบเทียบผู้ชนะตาม objective และตรวจว่าการเลือกเปลี่ยนเมื่อเปลี่ยน β อย่างไร
ถ้าระบบนำแนวคิดนี้ไปใช้กับ Agent ที่ทำงานต่อเนื่อง ต้องระบุว่า “ต้นทุนรวม” หมายถึงช่วงเวลาใด การตัดสินใจในขั้นต่อไปขึ้นกับข้อมูลอะไร และความเสี่ยงถูกคำนวณแบบ precommitted หรือแบบ dynamic หาก Agent ประเมินแผนทั้งเส้นทางก่อนเริ่ม แล้วภายหลังกลับมาวางแผนใหม่เมื่อเห็นข้อมูลระหว่างทาง การประเมินความเสี่ยงในเวลาต้นกับเวลาถัดไปอาจให้ความชอบต่างกันได้ การออกแบบจึงต้องสอดคล้องกับวิธีใช้งาน ไม่ใช่เพียงนำฟังก์ชัน CVaR มาใส่ในแต่ละขั้น
Technical Comparison: Three Objectives, Three Choices
เรากำหนดแบบจำลองจำลองขนาดเล็กที่เลือกนโยบายหนึ่งครั้งใน stage แรก จากนั้นต้นทุนปลายทางจะถูกสุ่มใน stage ที่สอง มีสามตัวเลือก: Safe มีต้นทุน 20 แน่นอน; Fast ให้ต้นทุน 100 ด้วยโอกาส 5% และต้นทุน 0 ด้วยโอกาส 95%; Buffered ให้ต้นทุน 60 ด้วยโอกาส 1% และต้นทุน 12 ด้วยโอกาส 99% เราใช้ β = 0.1 และสมมติว่าแต่ละความน่าจะเป็นและต้นทุนเป็นข้อมูลที่รู้แน่นอนสำหรับแบบจำลองนี้
ค่าเฉลี่ยของ Safe คือ 20 ส่วน Fast คือ 100 × 0.05 + 0 × 0.95 = 5 และ Buffered คือ 60 × 0.01 + 12 × 0.99 = 12.48 หากเป้าหมายคือทำให้ต้นทุนเฉลี่ยต่ำสุด Fast ชนะ เพราะต้นทุนที่เป็นศูนย์บ่อยครั้งชดเชยเหตุการณ์ต้นทุนสูงที่พบไม่บ่อยได้มากในค่าเฉลี่ย
สำหรับ CVaR ส่วนหาง 10% ของ Fast ประกอบด้วยมวล 5% ที่ต้นทุน 100 ทั้งหมด และอีก 5% จากมวลที่ต้นทุน 0 ดังนั้นค่าเฉลี่ยของหางเท่ากับ (0.05 × 100 + 0.05 × 0) / 0.10 = 50 ส่วนหาง 10% ของ Buffered ประกอบด้วยมวล 1% ที่ต้นทุน 60 และ 9% จากมวล 99% ที่ต้นทุน 12 จึงได้ (0.01 × 60 + 0.09 × 12) / 0.10 = 16.8 Safe มีต้นทุนคงที่ ค่า CVaR จึงเท่ากับ 20 ผลที่ได้ทำให้ Buffered เป็นตัวเลือกที่มี CVaR ต่ำสุด
หากเปรียบเทียบค่าสูงสุดใน support ที่ระบุ Safe มีค่าสูงสุด 20, Buffered มี 60 และ Fast มี 100 จึงเลือก Safe เกณฑ์นี้ให้ความสำคัญกับผลลัพธ์แย่ที่สุดในแบบจำลอง ไม่สนว่าผลนั้นเกิดบ่อยแค่ไหน ทั้ง CVaR และค่าสูงสุดจึงอาจเลือกแผนที่ต่างกัน เพราะ CVaR ยังพิจารณาความน่าจะเป็นภายในหาง ขณะที่ค่าสูงสุดสนใจเพียงปลายสุด
ตัวอย่างนี้ยังแสดงกับดักทางคณิตศาสตร์ ถ้าใช้ VaR ที่ขอบต้นทุน 0 ของ Fast แล้วเฉลี่ยทุกค่าที่ L ≥ VaR จะรวมทั้งผลลัพธ์ต้นทุน 100 และต้นทุน 0 เกือบทั้งหมด ได้ค่าใกล้ค่าเฉลี่ย 5 ซึ่งไม่ใช่ค่าเฉลี่ยของหางที่แย่ที่สุด 10% ที่เราต้องการ การจัดสรรมวลบางส่วนตรงขอบเขตทำให้ค่า CVaR ถูกต้องที่ 50 พอดี
ค่าทั้งหมดนี้เป็น SIMULATION / exact toy arithmetic จากแบบจำลองที่กำหนดไว้ ไม่ใช่ข้อมูลจากการทดลองกับ Agent จริง หากเปลี่ยนความน่าจะเป็นหรือค่าต้นทุน ผลการจัดอันดับก็เปลี่ยนได้ การทดลองใช้งานควรแสดงตารางการแจกแจงและตัวชี้วัดควบคู่กัน เพื่อไม่ให้เลขที่คำนวณได้ถูกตีความเกินขอบเขต
ผู้ใช้สามารถสำรวจผลโดยปรับ β หรือความน่าจะเป็นของเหตุการณ์ แล้วดูว่านโยบายใดชนะภายใต้แต่ละ objective เครื่องมือสำรวจควรคำนวณค่าจากข้อมูลที่เห็นได้และแสดงสูตร ไม่ควรซ่อนการปรับข้อมูลไว้หลังโมเดลที่อธิบายไม่ได้ การเปลี่ยน β จาก 0.1 เป็น 0.2 เพิ่มช่วงหางที่ถูกรวม ทำให้ผลลัพธ์ที่ไม่รุนแรงบางส่วนเข้ามาถัวเฉลี่ยด้วย ส่วนการลด β ลงทำให้การประเมินเน้นเหตุการณ์ที่แย่กว่าเดิม
Applications and Evidence
ข้อเท็จจริงเกี่ยวกับอัลกอริทึม MDP และการทดลอง grid world ด้านล่างมาจาก บทความ NeurIPS 2015 ฉบับเต็มของ Chow และคณะ.
FACT — งานวิจัย MDP: Chow, Tamar, Mannor และ Pavone ตีพิมพ์งาน “Risk-Sensitive and Robust Decision-Making: a CVaR Optimization Approach” ใน NeurIPS 2015 โดยตั้งโจทย์ลด CVaR ของต้นทุนสะสมแบบ discounted ภายใน MDP งานเสนอ dynamic programming ที่ขยาย state ด้วยระดับความเชื่อมั่นต่อเนื่อง และใช้ approximate value iteration พร้อมวิเคราะห์การลู่เข้าและขอบเขตความคลาดเคลื่อน วิธีดังกล่าวเป็นอัลกอริทึมวางแผน MDP ที่มีรายละเอียดและสมมติฐานเฉพาะ ไม่ใช่สิ่งที่เราได้ติดตั้งหรือใช้คำนวณตัวอย่างสามนโยบายนี้
FACT — การทดลองที่รายงานในบทความ: ผู้เขียนประเมินวิธีบน grid world ที่ Agent เดินไปยังปลายทางและหลบสิ่งกีดขวาง การเคลื่อนที่มีโอกาสถูกสัญญาณรบกวน แต่ละก้าวมีต้นทุนการเดิน และการชนสิ่งกีดขวางมีต้นทุนสูงพร้อมยุติภารกิจ บทความรายงานการเปลี่ยนเส้นทางและความเสี่ยงการชนเมื่อปรับระดับ CVaR รวมถึง histogram ต้นทุนจากการทดลอง Monte Carlo 400 ครั้ง นี่คือผลที่ผู้เขียนรายงานในบทความ ไม่ใช่การทดลองซ้ำของเรา
FACT — รากฐานการคำนวณ: งานของ Rockafellar และ Uryasev เรื่อง Conditional Value-at-Risk for General Loss Distributions ครอบคลุมการแจกแจงที่ไม่ต่อเนื่องและมวลความน่าจะเป็นที่ quantile วิธีจัดสรรหางอย่างถูกต้องมีความสำคัญต่อระบบที่ใช้ scenario หรือผลลัพธ์จำกัด เพราะข้อมูลประเภทนั้นพบอะตอมที่จุดต้นทุนเดียวกันได้โดยธรรมชาติ
สำหรับบริบทเรื่องโครงสร้างนโยบายและการค้นหา อ่านต่อเรื่อง Finite-State Controller และ POMCP ได้ โดยสองเรื่องนั้นอธิบายการแทนนโยบายและการค้นหา ส่วน CVaR ในบทความนี้ใช้จัดอันดับต้นทุนความเสี่ยงของแผนที่กำหนดแล้ว
Limitations and Failure Modes
ความเสี่ยงข้อแรกคือแบบจำลองไม่ครอบคลุมเหตุการณ์จริง ค่าสูงสุดที่ 20 ของ Safe หมายถึงค่าสูงสุดในรายการผลลัพธ์ที่เราระบุไว้เท่านั้น หากระบบจริงมีเหตุการณ์ต้นทุน 500 ที่เราไม่ได้ใส่ไว้ ค่านี้จะไม่เตือนเรา CVaR ก็ไม่สามารถสร้างผลลัพธ์ที่ไม่มีอยู่ในแบบจำลองขึ้นมาเองได้ งานของ Chow และคณะเชื่อม CVaR กับความทนทานต่อการรบกวน transition ที่ถูกจำกัดด้วย budget และโครงสร้างเฉพาะ จึงไม่ควรขยายความเป็นการรับประกันต่อความผิดพลาดหรือการเปลี่ยนแปลงของโมเดลทุกชนิด
ข้อสามคือการแทน CVaR เป็นข้อจำกัดโอกาส การลด CVaR ไม่รับรองว่าความน่าจะเป็นเกินวงเงินต่ำกว่าค่าเฉพาะ หากข้อกำหนดมาจากกฎหมายหรือความปลอดภัยที่นิยามด้วยโอกาสเกิดเหตุการณ์ ต้องตรวจ constraint นั้นโดยตรง นอกจากนี้การประมาณความน่าจะเป็นจากข้อมูลจำนวนน้อยอาจทำให้หางดูเล็กกว่าจริง ควรแสดงช่วงความไม่แน่นอนหรือทำ sensitivity analysis เมื่อข้อมูลรองรับ
ข้อสี่คือใช้แนวคิด static CVaR ในงานหลายขั้นตอนโดยไม่จัดการเรื่องเวลา บทความนี้วัดการแจกแจงของต้นทุนรวมสำหรับนโยบายที่เลือกไว้ล่วงหน้า หากวางแผนใหม่หลังเห็นข้อมูลบางส่วน ตัวเลือกที่ดูดีที่สุดจากจุดเริ่มต้นอาจไม่ดูดีที่สุดเมื่อคำนวณใหม่ ณ สถานะภายหลัง ความไม่สอดคล้องตามเวลา (time inconsistency) เป็นคุณสมบัติที่ต้องพิจารณาใน dynamic risk decision-making; nested CVaR หรือการเพิ่ม state สำหรับความเสี่ยงเป็นอีก formulation หนึ่ง ห้ามนำ CVaR ของแต่ละช่วงมาบวกแล้วเรียกผลว่า CVaR ของต้นทุนรวม โดยไม่มีทฤษฎีรองรับ
ข้อห้าคืออ่านผลจาก policy set เล็กเกินจริง ตัวอย่างนี้เลือกได้เพียง Safe, Fast หรือ Buffered เท่านั้น ข้อสรุป “CVaR เลือก Buffered” หมายถึง Buffered มีค่า CVaR ต่ำสุดในสามนโยบายที่ระบุ ไม่ได้หมายความว่าเป็นนโยบาย optimal ของ MDP ทุกแบบ การหา optimum ทั่วทั้งชุดนโยบายต้องนิยาม policy space และใช้วิธี optimization ที่เหมาะสม
สุดท้าย ผู้พัฒนาต้องไม่ปะปนตัวชี้วัดความเสี่ยงกับการเรียนรู้ โมเดลที่เรียนรู้ transition หรือ policy จากข้อมูลเป็นอีกส่วนหนึ่ง ต้องประเมินแยกต่างหากว่าการเรียนรู้มีข้อมูลเพียงพอหรือไม่ เกิด distribution shift หรือไม่ และ policy ยังทำงานได้ภายใต้การใช้งานจริงหรือไม่ CVaR เป็นตัวแทนความชอบด้านความเสี่ยงต่อการแจกแจงที่กำหนด ไม่ใช่กลไกอัปเดตน้ำหนักของ Agent และไม่ใช่หน่วยความจำภายนอกของ Agent
ต้องแยกตัวชี้วัดนี้จากกลไกความจำด้วย: context คือข้อมูลที่ส่งเข้ารอบปัจจุบัน, retrieved context คือเนื้อหาที่ค้นกลับมา, external memory คือที่เก็บข้อมูลคงอยู่ภายนอก และ weight updates คือการเปลี่ยนพารามิเตอร์ของโมเดล CVaR ไม่ได้ทำสิ่งเหล่านี้ แต่ใช้จัดอันดับความเสี่ยงจากการแจกแจงต้นทุนที่ระบุ
Future Directions
ANALYSIS — แนวทางต่อยอดคือเปรียบเทียบ static CVaR กับ nested risk ในหลายช่วงเวลา และตรวจผลของการวางแผนซ้ำ อีกแนวทางคือทดสอบ calibration และความไวของ tail estimate เมื่อข้อมูลน้อยหรือ distribution เปลี่ยน โดยแยกความไม่แน่นอนของแบบจำลองจากความเสี่ยงภายในโมเดล
Takeaways
CVaR ให้ Agent หรือผู้ประเมินแผนมองต้นทุนเฉลี่ยของผลลัพธ์ที่แย่ที่สุดตามสัดส่วนหางที่กำหนด การคำนวณแบบไม่ต่อเนื่องต้องแบ่งมวลที่ขอบ quantile ให้ครบสัดส่วนหาง ไม่ใช่เฉลี่ยทุกผลลัพธ์ที่เกินหรือเท่ากับ VaR ค่า CVaR เปลี่ยนการจัดอันดับแผนได้ แต่ยังขึ้นกับความถูกต้องของต้นทุนและความน่าจะเป็นในแบบจำลอง
สำหรับงานหลายขั้นตอน ต้องแยก static CVaR ของต้นทุนรวมจาก nested risk formulation และจากการวางแผนซ้ำระหว่างทาง CVaR ไม่ได้เท่ากับ chance constraint ไม่ได้รับประกันต่อเหตุการณ์ที่ไม่มีในแบบจำลอง และการเปรียบเทียบสามนโยบายไม่ใช่การพิสูจน์ optimum ทั่ว policy space การออกแบบที่ดีจึงต้องรายงานทั้งนิยาม objective สมมติฐาน และขอบเขตของข้อสรุป
Interactive Objective Challenge
เลือก objective (mean, CVaR หรือค่าสูงสุด), ค่า β และนโยบายก่อนสุ่มต้นทุนปลายทาง 20 ครั้งจากแบบจำลองที่กำหนด ผลสุ่มแสดงความผันผวนของ batch แต่คะแนนวัดจากอันดับที่คำนวณตรงจาก distribution ทั้งสาม ไม่ใช่โชคจากการสุ่ม การรีเซ็ตล้างสถานะและสุ่มซ้ำด้วย seed เดิม จึงได้ batch 20 ผลเดิม หากต้องการ batch ใหม่ให้เปลี่ยน seed กิจกรรมนี้อธิบายการคำนวณ ไม่ได้ฝึก AI หรือเก็บข้อมูลผู้เล่น
FAQ
CVaR คือการดูผลลัพธ์ที่แย่ที่สุดเท่านั้นหรือไม่?
ไม่ใช่ CVaR เฉลี่ยต้นทุนในส่วนหางที่กำหนด ส่วนค่าสูงสุดพิจารณาเพียงค่ามากที่สุดใน support แบบจำลอง เมื่อมวลหางเข้าใกล้ศูนย์ CVaR จึงเข้าใกล้ค่าสูงสุด
ทำไม Fast ไม่ได้ CVaR เท่ากับ 100?
Fast มีต้นทุน 100 ด้วยโอกาส 5% แต่เราวัดหาง 10% จึงเติมมวลอีก 5% จากต้นทุน 0 ค่าเฉลี่ยในหางจึงเป็น 50 การเฉลี่ยทุกค่าที่เกิน VaR โดยไม่แบ่งอะตอมจะผิดนิยาม
CVaR รับประกันความปลอดภัยหรือไม่?
ไม่รับประกันโดยตัวมันเอง เป็นตัวชี้วัดการแจกแจงที่กำหนด หากต้นทุน ความน่าจะเป็น หรือผลลัพธ์ที่เป็นไปได้ไม่ตรงโลกจริง ค่า CVaR ก็สะท้อนความคลาดเคลื่อนนั้น ระบบจริงต้องมีข้อกำหนดและการตรวจสอบเฉพาะ
ใช้ CVaR ระหว่างแต่ละขั้นแล้วบวกกันได้ไหม?
อย่าสมมติว่าผลรวม CVaR รายขั้นเท่ากับ CVaR ของต้นทุนรวม การวิเคราะห์หลายช่วงเวลาต้องระบุ static objective, nested risk measure หรือวิธีอื่น และพิจารณาผลของการวางแผนใหม่เมื่อได้รับข้อมูลระหว่างทาง
References
- Chow, Y., Tamar, A., Mannor, S., & Pavone, M. (2015). “Risk-Sensitive and Robust Decision-Making: a CVaR Optimization Approach.” NeurIPS. Full paper: https://papers.neurips.cc/paper_files/paper/2015/file/64223ccf70bbb65a3a4aceac37e21016-Paper.pdf. Official abstract: https://papers.neurips.cc/paper_files/paper/2015/hash/64223ccf70bbb65a3a4aceac37e21016-Abstract.html.
- Rockafellar, R. T., & Uryasev, S. (2002). “Conditional Value-at-Risk for General Loss Distributions.” Journal of Banking & Finance, 26(7), 1443–1471. Author-hosted manuscript version dated November 28, 2001, associated with the 2002 journal article: https://sites.math.washington.edu/~rtr/papers/rtr187-CVaR2.pdf. https://doi.org/10.1016/S0378-4266(02)00271-6.
- Mead, H., Costen, C., Lacerda, B., & Hawes, N. (2025). “Return Capping: Sample Efficient CVaR Policy Gradient Optimisation.” Proceedings of ICML, PMLR 267, 43503–43518. Abstract and paper links: https://proceedings.mlr.press/v267/mead25a.html. Public code repository, README inspected: https://github.com/HarryMJMead/cvar-return-capping.
ใส่ความเห็น