تعمل Google على الموسيقى التصويرية والحوارات المولدة بتقنية الذكاء الاصطناعي لمقاطع الفيديو

يعلم الجميع أن الصوت عنصر حاسم في معظم الأفلام ومقاطع الفيديو. ففي نهاية المطاف، حتى عندما كانت الأفلام صامتة، كان لا يزال هناك مرافقة موسيقية تسمح للجمهور بمعرفة ما يشعر به.

يظل هذا القانون الطبيعي كما هو بالنسبة للمجموعة الجديدة من مقاطع فيديو الذكاء الاصطناعي، والتي تظهر صامتة بشكل مخيف. وهذا جزء من سبب عمل Google على تقنية “تحويل الفيديو إلى الصوت” (V2A) التي “تجعل إنشاء الصوت والصورة المتزامن ممكنًا”. وفي يوم الاثنين، شارك مختبر الذكاء الاصطناعي التابع لشركة Google، DeepMind، التقدم المحرز في إنشاء مثل هذا الصوت بما في ذلك الموسيقى التصويرية والحوارات التي تتطابق تلقائيًا مع مقاطع الفيديو التي تم إنشاؤها بواسطة الذكاء الاصطناعي.

لقد بذلت Google جهدًا كبيرًا في تطوير تقنية الذكاء الاصطناعي التوليدي متعدد الوسائط للتنافس مع المنافسين. لدى OpenAI مولد فيديو يعمل بالذكاء الاصطناعي Sora (لم يتم إصداره علنًا بعد) وGPT-4o، الذي ينشئ استجابات صوتية مدعومة بالذكاء الاصطناعي. تقوم شركات مثل Meta وSuno باستكشاف الصوت والموسيقى التي يتم إنشاؤها بواسطة الذكاء الاصطناعي، ولكن ربط الصوت بالفيديو يعد أمرًا جديدًا نسبيًا. لدى ElevenLabs أداة مشابهة لمطابقة الصوت مع المطالبات النصية، لكن DeepMind تقول إن V2A مختلف لأنه لا يتطلب مطالبات نصية.

يمكن إقران V2A بأدوات فيديو الذكاء الاصطناعي مثل Google Veo أو لقطات أرشيفية وأفلام صامتة موجودة. يمكن استخدام هذا للموسيقى التصويرية والمؤثرات الصوتية وحتى الحوار. إنه يعمل باستخدام نموذج نشر تم تدريبه باستخدام المدخلات المرئية ومطالبات اللغة الطبيعية وتعليقات الفيديو لتحسين الضوضاء العشوائية تدريجيًا إلى صوت يناسب نغمة وسياق مقاطع الفيديو.

يقول Google DeepMind أن V2A يمكنه “فهم وحدات البكسل الأولية” وبالتالي لا تحتاج فعليًا إلى مطالبة نصية لإنشاء الصوت، ولكنه يساعد في الدقة. يمكن أيضًا مطالبة النموذج بجعل نغمة الصوت إيجابية أو سلبية. إلى جانب الإعلان، أصدرت DeepMind بعض مقاطع الفيديو التجريبية، بما في ذلك مقطع فيديو لممر مظلم ومخيف مصحوبًا بموسيقى رعب، وراعي بقر وحيد عند غروب الشمس يسجل نغمة هارمونيكا هادئة، وشخصية متحركة تتحدث عن عشاءه.

سيتضمن V2A العلامة المائية SynthID من Google كإجراء وقائي ضد سوء الاستخدام، ويقول منشور مدونة Deepmind أن الميزة تخضع حاليًا للاختبار قبل إصدارها للجمهور.