แชทบอทดังกล่าวทำงานบนเว็บไซต์ของ Eurostar โดยเป็นโปรแกรมฝั่งไคลเอนต์ที่พัฒนาด้วย HTML และ JavaScript ซึ่งสื่อสารกับระบบ LLM (Large Language Model) ที่อยู่เบื้องหลังผ่าน API โดยตรง
ข้อมูลการสนทนาทั้งหมดจะถูกส่งผ่าน API ในแต่ละครั้ง เนื่องจากโมเดลภาษาขนาดใหญ่ที่ใช้งานทั่วไปมักไม่มีหน่วยความจำบริบทของการสนทนาในอดีต ทำให้จำเป็นต้องส่งข้อมูลทั้งหมดเพื่อคงบริบทไว้
แม้ทีมพัฒนาของ Eurostar จะได้เพิ่มกลไกป้องกัน (guardrails) เพื่อจำกัดการทำงานของแชทบอท แต่ช่องโหว่สำคัญอยู่ที่กลไกเหล่านี้ถูกนำมาใช้กับเฉพาะข้อความล่าสุดในการสนทนาเท่านั้น
สิ่งนี้เปิดโอกาสให้นักวิจัยสามารถส่งข้อความที่ดูเหมือนไม่มีพิษมีภัย หรือข้อความว่างเปล่า จากนั้นซ่อนคำสั่งอันตราย (payload) ไว้ในข้อความก่อนหน้าที่ถูกส่งไปในบทสนทนาเดียวกัน ทำให้แชทบอทประมวลผลคำสั่งที่ซ่อนอยู่นั้น
Ross Donald ได้สาธิตให้เห็นว่าแชทบอทสามารถเปิดเผยข้อมูลระบบภายในของตัวเองได้ รวมถึงการฝังโค้ด HTML และ JavaScript ลงในข้อความตอบกลับของบอท
อย่างไรก็ตาม นักวิจัยระบุว่าผลลัพธ์ของการโจมตีนี้จำกัดอยู่แค่ตัวเขาเอง และไม่สามารถเข้าถึงข้อมูลของลูกค้ารายอื่นได้ ทำให้ในกรณีนี้ Eurostar โชคดีที่รอดพ้นความเสี่ยงจากการถูกละเมิดข้อมูลลูกค้า แต่จากคำบรรยายของเขา ทาง Hackaday เห็นด้วยว่า Eurostar ควรมีการตอบสนองต่อการเปิดเผยช่องโหว่ในลักษณะที่ดีกว่านี้
🏷️ หมวดหมู่: Artificial Intelligence, Security Hacks, ai, chatbot, vulnerability
🔗 อ่านบทความฉบับเต็ม: hackaday
