เทคโนโลยีเบื้องหลัง Sora 2

Sora 2 เป็นโมเดล AI ที่ใช้เทคโนโลยีขั้นสูงหลายชั้นเพื่อสร้างวิดีโอจากข้อความ ต่อไปนี้คือรายละเอียดของเทคโนโลยีหลักที่ขับเคลื่อน Sora 2

โมเดลการเรียนรู้ของเครื่อง (Machine Learning)

โมเดล ML ของ Sora 2 ได้รับการฝึกฝนให้แปลงข้อความแจ้งเตือน (prompt) และรูปภาพ (หากมี) ให้เป็นวิดีโอสั้นๆ ที่มีเสียง ความสำคัญของการฝึกฝนคือการใช้ข้อมูลฝึกแบบ "video-language-aligned dataset" ที่ใหญ่กว่าเดิมถึง 3 เท่า ทำให้เข้าใจคำบรรยายได้ลึกและตีความได้แม่นยำขึ้น

Multimodal Transformer

Multimodal Transformer เป็นหัวใจสำคัญของ Sora 2 ซึ่งเป็นโมเดลที่เข้าใจข้อความ เสียง และวิดีโอได้พร้อมกัน สิ่งนี้ช่วยให้ระบบสามารถประมวลผลข้อมูลหลายรูปแบบพร้อมกันและสร้างเนื้อหาที่สอดคล้องกันระหว่างภาพและเสียง

เทคโนโลยีเพิ่มเติม

นอกจาก Multimodal Transformer แล้ว Sora 2 ยังใช้เทคโนโลยีอื่นๆ ดังนี้

DALL-E 4 Fusion Layer ใช้เทคนิคการแปลงภาพนิ่งหลายภาพเป็นการเคลื่อนไหวแบบมีระนาบ ซึ่งช่วยให้การเปลี่ยนแปลงระหว่างเฟรมเป็นไปอย่างราบรื่นและสมจริง

Camera Path Conditioning เป็นเทคโนโลยีที่ให้ผู้ใช้สามารถสั่งการเคลื่อนไหวกล้องได้อย่างแม่นยำ เช่น zoom in หรือ pan left ซึ่งเพิ่มความควบคุมในการสร้างวิดีโอ

ความก้าวหน้าในการจำลองฟิสิกส์

Sora 2 มีการจำลองทางกายภาพที่กระชับยิ่งขึ้นเมื่อเทียบกับรุ่นแรก ระบบสามารถเข้าใจบริบทและลอจิกของฉากได้ดีขึ้น เช่น ถ้าให้เด็กถือไอศกรีมแล้วเดิน ไอศกรีมจะละลายเมื่อเดินกลางแดด นอกจากนี้ การเคลื่อนไหว แรงโน้มถ่วง และการชนกันดูเป็นธรรมชาติ ลดความรู้สึกไม่สมจริงในวิดีโอ

การสร้างเสียงแบบเนทีฟ

ความก้าวหน้าหลักของ Sora 2 คือการสร้างเสียงแบบเนทีฟ ซึ่งหมายความว่าวิดีโอและเสียงถูกสร้างขึ้นพร้อมกันแทนที่จะถูกเย็บต่อกันภายหลัง Sora 2 สามารถสร้างบทสนทนา (เสียงพูดที่มีจังหวะตรงกับการเคลื่อนไหวของริมฝีปากที่มองเห็นได้) เสียงบรรยากาศ และเอฟเฟกต์เสียง