Adobes Flaggschiffprodukt für generative KI ist Firefly, ein Text-zu-Bild-Konvertierungstool, das generatives Füllen für Photoshop und Text-zu-Vektor-Konvertierung in Illustrator ermöglicht. Das Modell Firefly 2024 unterstützt jedoch drei KI-Videotools in der Videobearbeitungssoftware Premiere Pro: generative Erweiterung, Hinzufügen und Entfernen von Objekten sowie Text im Video.
Premiere ermöglicht Videoeditoren bereits die Integration von Adobe Creative Cloud-Software wie After Effects (Animationsgrafiken) und Audition (Tonmischung). Die heutige Ankündigung macht deutlich, dass Adobe bei der KI den gleichen Ansatz verfolgen wird. Das Unternehmen gab außerdem bekannt, dass es sich in „ersten Erkundungen“ befinde, um die Videogenerierung von OpenAI (Sora), Runway und Pika Labs in Premiere zu integrieren.
Letzte Woche hat Adobe diese KI-Tools der nächsten Generation vorgeführt und Beispiele (siehe Video oben auf der Seite) dafür geteilt, was noch vor Jahresende in Premiere Pro verfügbar sein wird.
Generative Erweiterung
Vorschau auf Generative Extend für Premiere ProJeder Verlag wollte nur noch ein paar mehr Bilder, um eine reibungslosere Bearbeitung oder Übergänge zu ermöglichen. Das Gen Extend-Tool würde es Redakteuren ermöglichen, mithilfe von KI neue Frames mit einer Länge von bis zu „einigen Sekunden“ zu erstellen, was laut Adobe „nahtlos Frames hinzufügen wird, um Clips zu verlängern“.
Im Vorschauvideo verlängert das Tool den stoischen Auftritt der Schauspielerin um einige Sekunden, um eine Lücke in der Timeline des Redakteurs zu schließen. Obwohl die Dehnung von Darbietungen ethische und gewerkschaftliche Probleme aufwirft, nutzen Filmemacher seit langem VFX-Tricks, um Filmmaterial zu mischen, um zusätzliches Filmmaterial zu kaufen. Dieses Tool könnte es Redakteuren ermöglichen, Echtzeitlösungen in Premiere zu erstellen.
Objekte hinzufügen und entfernen
Eine Übersicht über das in Premiere Pro verfügbare Werkzeug „Objekt hinzufügen“.AdobeDas Hinzufügen und Entfernen von Objekten zum Bild erfordert oft sorgfältige VFX-Arbeit, aber das Firefly-Tool würde es einem Redakteur ermöglichen, dies in Echtzeit zu tun. Der Schlüssel wird sein, ob die KI-Generation den Fotorealismus aufrechterhalten kann. Die in der Adobe-Vorschau angebotenen Beispiele (Hinzufügen eines Stapels Diamanten zum Gehäuse und Entfernen eines Elektrokastens aus dem Rahmen) wirken fotorealistisch und sorgen für Konsistenz im Bild und in der Beleuchtung. Sowohl in seiner Pressemitteilung als auch in einem Briefing mit Adobe bestand darauf, dass diese Pixel ohne weitere Manipulation vom kommenden Firefly-Videomodell generiert wurden.
Die ersten Ergebnisse sehen vielversprechend aus, aber solange die Redakteure es nicht anhand einer breiten Palette von Filmmaterial testen, werden wir nicht wissen, wie anwendbar diese Tools in naher Zukunft sein werden.
Text zu Video
Ein Blick auf das Hinzufügen von OpenAI Soras Gen AI-Video zu Premiere ProFirefly ist nicht neu, wenn es um die Möglichkeit geht, Text-zu-Video-Konvertierungstools zum Erstellen von Aufnahmen zu verwenden. Das Faszinierende ist, dass Adobe Filmemachern die Möglichkeit geben wird, aus Premiere heraus auf Videotext zuzugreifen, und dass die Firefly-Konkurrenten Sora, Runway und Pika Labs dabei sein werden. Es ist klar, dass Adobe von Verlagen erwartet, dass sie diese Tools in ihren täglichen Arbeitsabläufen verwenden.
Informationen zum Autor und Inhalt
Viele Bild- und Videovorlagen zur KI-Generierung basieren auf urheberrechtlich geschütztem Material. In einem peinlichen Interview konnte OpenAI-CTO Sora nicht einmal einfache Fragen darüber beantworten, was sein generatives Videomodell antreibt.
Allerdings lobten die Filmemacher Adobe dafür, dass es zum Trainieren von Firefly nur lizenziertes Filmmaterial verwendet habe. Führungskräfte von Adobe haben bestätigt, dass das demnächst erscheinende Firefly-Videomodell weiterhin denselben Regeln folgen wird.
Es ist daher merkwürdig, dass Adobe KI-Drittunternehmen integriert, die in Bezug auf das Urheberrecht weitaus weniger ethisch sind. Allerdings sagte Adobe, dass es weiterhin Content-Anmeldeinformationen verwenden werde.
„ Als einer der Gründer der Content Authenticity Initiative setzt sich Adobe dafür ein, Content-Anmeldeinformationen (eine kostenlose Open-Source-Technologie, die als Nährwertkennzeichnung für Online-Inhalte dient) mit den in seinen Anwendungen erstellten Assets zu verknüpfen, damit Benutzer sehen können, wie der Inhalt erstellt wurde und was es enthält. Zur Generierung der auf Adobe-Plattformen erstellten Inhalte wurden KI-Modelle eingesetzt“, heißt es in der heutigen Pressemitteilung.
Die Beständigkeit dieser Nährwertkennzeichnungen – und wie leicht sie sich vom Glas lösen lassen – bleibt abzuwarten.
Im Mai wird der Audio-Workflow von Premiere eine Reihe verbesserter Tools erhalten, von denen einige KI-gestützt sind und bereits seit einiger Zeit in der Betaversion verfügbar sind. Diese beinhalten:
Interaktive Fade-Griffe: Redakteure können benutzerdefinierte Audioübergänge erstellen, indem sie Clip-Griffe ziehen, um Audio-Überblendungen zu erzeugen.
Essential Sound-Abzeichen mit Kennzeichnung der Audiokategorie: KI markiert Audioclips automatisch als Dialog, Musik, Soundeffekte oder Ambiente.
Effektabzeichen: Visuelle Indikatoren zeigen an, welche Clips über Effekte verfügen, fügen schnell neue hinzu und öffnen automatisch die Effekteinstellungen der Sequenz.
Neu gestaltete Wellenformen in der Timeline: Die Größe von Wellenformen passt sich intelligent an, wenn sich die Spurhöhe in Clips ändert, während neue Farben die Wiedergabe von Filmmaterial erleichtern.
KI-basiertes Sprachverbesserungstool: Entfernt unerwünschtes Rauschen und verbessert schlecht aufgenommene Dialoge; Dieses ist seit Februar allgemein verfügbar.
Schreibe einen Kommentar