เทคโนโลยีเบื้องหลัง Sora 2 เช่น Machine Learning, Deep Learning, Multimodal Transformer

เทคโนโลยีเบื้องหลัง Sora 2 ประกอบด้วยการผสานหลายโมเดล AI ขั้นสูง เช่น Multimodal Transformer ที่สามารถเข้าใจและประมวลผลข้อมูลหลายรูปแบบพร้อมกัน ได้แก่ ข้อความ เสียง และวิดีโอ ทำให้โมเดลสามารถสร้างวิดีโอที่มีความสมจริงสูงทั้งภาพและเสียงไปพร้อมกัน นอกจากนี้ยังใช้เทคนิค Deep Learning ในการฝึกโมเดลด้วยชุดข้อมูลขนาดใหญ่ที่มีการจับคู่ระหว่างวิดีโอและข้อความ (video-language-aligned dataset) ซึ่งใหญ่กว่ารุ่นก่อนถึง 3 เท่า ช่วยให้โมเดลเข้าใจบริบทและลอจิกของฉากได้ดีขึ้น

ในส่วนของ Machine Learning โมเดลได้รับการฝึกฝนให้แปลงข้อความและรูปภาพเป็นวิดีโอสั้นที่มีเสียงซิงโครไนซ์และการเคลื่อนไหวที่เป็นธรรมชาติ โดยใช้การจำลองฟิสิกส์จริง เช่น แรงโน้มถ่วง การชนกัน และการเคลื่อนไหวต่อเนื่อง เพื่อให้วิดีโอมีความสมจริงมากขึ้น ฟีเจอร์เด่น เช่น การใส่ใบหน้าผู้ใช้ลงในวิดีโอ (cameo) ก็ใช้เทคนิคการเรียนรู้เชิงลึกเพื่อผสานภาพใบหน้าและเสียงเข้ากับฉากได้อย่างเนียน

เทคโนโลยีสำคัญอื่น ๆ ที่ช่วยให้ Sora 2 ก้าวกระโดด ได้แก่

• DALL-E 4 Fusion Layer ที่ช่วยแปลงภาพนิ่งหลายภาพให้กลายเป็นภาพเคลื่อนไหวแบบมีระนาบ (plane motion)
• Camera Path Conditioning ที่อนุญาตให้ผู้ใช้ควบคุมการเคลื่อนไหวของกล้อง เช่น การซูมและแพนกล้อง ผ่านคำสั่งข้อความ
• ระบบ SDK/API ที่รองรับหลายภาษาและการทำงานแบบ multi-agent เพื่อความยืดหยุ่นและประสิทธิภาพในการสร้างวิดีโอ

สรุปคือ Sora 2 ใช้เทคโนโลยี Machine Learning และ Deep Learning ขั้นสูงร่วมกับ Multimodal Transformer เพื่อสร้างวิดีโอที่มีภาพและเสียงสอดคล้องกันอย่างสมจริง พร้อมฟีเจอร์ควบคุมกล้องและการจำลองฟิสิกส์ที่ช่วยเพิ่มความสมจริงและความต่อเนื่องของฉาก