Apple เปิดตัว LazyLLM: เทคโนโลยี AI ใหม่ที่เร็วและฉลาดขึ้น

เมื่อเร็วๆ นี้ Apple ได้เปิดตัว LazyLLM ซึ่งเป็นวิธีการใหม่ที่ออกแบบมาเพื่อเพิ่มประสิทธิภาพของโมเดลภาษาขนาดใหญ่ (LLMs) ในขั้นตอนการอนุมาน โดยเฉพาะอย่างยิ่งเมื่อต้องจัดการกับบริบทที่ลากยาว

คุณสมบัติหลักของ LazyLLM:

1. ปรับปรุงกระบวนการอนุมาน:

• ‍ขั้นตอนการเตรียมข้อมูล: แต่เดิมนั้น ขั้นตอนนี้ต้องคำนวณแคชคีย์-ค่า (KV) สำหรับทุกโทเค็นในข้อความนำเข้า ซึ่งใช้ทรัพยากรการคำนวณมาก โดยเฉพาะกับข้อความที่ยาว LazyLLM แก้ปัญหานี้ด้วยการตัดโทเค็นแบบไดนามิก คำนวณคู่ KV เฉพาะโทเค็นที่จำเป็นสำหรับการทำนายถัดไป เช่น หากข้อความมี 100 โทเค็น แต่มีเพียง 20 โทเค็นที่เกี่ยวข้อง LazyLLM จะโฟกัสเฉพาะ 20 โทเค็นนั้น ช่วยลดภาระการคำนวณลงอย่างมาก

• ‍ขั้นตอนการถอดรหัส: ในขั้นตอนนี้ โมเดลแบบเดิมจะสร้างโทเค็นถัดไปโดยใช้ข้อมูลที่แคชไว้ทั้งหมด ซึ่งอาจทำให้เกิดความล่าช้า LazyLLM ปรับปรุงส่วนนี้โดยให้โมเดลเลือกโทเค็นที่จะประมวลผลในแต่ละขั้นตอนแบบไดนามิก หมายความว่าถ้าผู้ใช้ถามคำถามเฉพาะเจาะจง โมเดลสามารถดึงและจัดลำดับความสำคัญเฉพาะข้อมูลที่เกี่ยวข้องได้อย่างรวดเร็ว ทำให้ตอบสนองได้เร็วขึ้น

2. การตัดโทเค็นแบบไดนามิก: 

คุณสมบัตินี้ช่วยให้โมเดลโฟกัสเฉพาะโทเค็นที่เกี่ยวข้องที่สุดสำหรับการทำนายแต่ละครั้ง คล้ายกับที่นักเรียนอาจมุ่งเน้นเฉพาะแนวคิดสำคัญสำหรับการสอบ แทนที่จะทบทวนทุกรายละเอียด วิธีการแบบเจาะจงนี้ช่วยเพิ่มประสิทธิภาพและลดการคำนวณที่ไม่จำเป็น

3. ผลการทดลอง: 

การทดลองที่ดำเนินการโดยผู้พัฒนาแสดงให้เห็นว่า LazyLLM ช่วยลดเวลาในการสร้างโทเค็นแรก (TTFT) อย่างมีนัยสำคัญ โดยยังคงรักษาความแม่นยำของโมเดลไว้ได้ ตัวอย่างเช่น การสร้างคำตอบที่ปกติใช้เวลา 10 วินาที อาจลดลงเหลือประมาณ 4 วินาทีด้วย LazyLLM โดยไม่สูญเสียคุณภาพ

บทสรุป 

โดยรวมแล้ว LazyLLM ถือเป็นความก้าวหน้าที่น่าสนใจในการเพิ่มประสิทธิภาพ LLMs สำหรับแอปพลิเคชันที่ต้องประมวลผลบริบทข้อมูลนำเข้าที่ยาวและมีรายละเอียดเยอะ ความสามารถในการผสานรวมเข้ากับโมเดลที่มีอยู่โดยไม่ต้องฝึกฝนใหม่ ทำให้ LazyLLM เป็นเครื่องมือที่มีคุณค่าสำหรับนักพัฒนาที่ต้องการเพิ่มประสิทธิภาพของโมเดลภาษา

ทาง Amity Solutions ก็มีบริการ Amity bots ที่ช่วยเพิ่มประสิทธิภาพการดำเนินงานเช่นกัน ปรึกษาผู้เชี่ยวชาญของเราได้ที่นี่