Adobe was in Photoshop redelijk snel met AI-toepassingen, maar op videogebied is het wat later dan de rest. Aan de andere kant is video’s genereren wel een heel moeilijke tak van sport. We zien dat Sora van OpenAI ook nog maar korte filmpjes kan doen en niet openlijk beschikbaar is. Een foto is wat dat betreft een stuk eenvoudiger te genereren. Fijn dus dat Adobe er nu toch al grote stappen in maakt: zijn AI-videomodel is te vinden in Premiere Pro.
Premiere Pro is de professionele videomontagesoftware van Adobe. Nu kan die dus ook generatieve AI-video’s maken. Dat kan het dankzij Firefly, de bekende naam van het videomodel van Adobe. Een naam die al regelmatig voorbij is gekomen, maar nu dus ook echt volop kan worden gebruikt om AI-video’s te maken. Je kunt op twee manieren zo’n video laten genereren: de eerste is om met een prompt een video helemaal nieuw te laten maken. Heb je bijvoorbeeld een video gemaakt over een leraar die uitleg geeft over een nieuwe lesmethode, dan is het handig om er nog wat B-roll in te zetten met kinderen in een klas, of een schoolbord of schooltassen. Dat kan dan mooi met generatieve AI, mocht je die opnames niet hebben gemaakt.
Maar misschien wil je juist dat een kind dat stil zit op een foto aan het schrijven is: dan kun je de foto uploaden en aan Firefly vragen om op basis van die foto een video te maken. Je kunt bestaande beelden ook langer maken als je dat wil, dus als je al een mooie video hebt maar je wil dat er een wat langere fade out is, dan kun je met Firefly de boel nog laten bewegen terwijl dat gebeurt. Dat laatste doe je met Generative Extend, een tool die nu nog in beta is. Je kunt zowel voor, na als in het midden van een video verlengen, maar dit kan wel met slechts 2 seconden (en op 720p of 1080p en 24 fps). Het voordeel is dat geluidseffecten ook worden verlengd. Al kan dat bij spraak nog wel tot gekke situaties leiden.
De andere twee tools zijn op het web beschikbaar, namelijk de eerder genoemde Text-to-Video en Image-to-Video. Je kunt videobeelden laten maken in allerlei stijlen, zoals realistisch, animatie en zelfs stop motion. Als dat laatste goed werkt, dan zou dat heel veel schelen. Het maken van een stop motion-animatiefilm zoals Chicken Run of Wallace & Gromit neemt dagen in beslag voor een paar seconden. Kijk maar naar de onderstaande behind-the-scenes-video van Chicken Run: Dawn of the Nugget:
Als AI stop motion-video kan maken en het er ook echt goed en echt uit kan laten zien, want dat is juist bij dit type animatie essentieel, dan kan dat betekenen dat deze toffe films veel sneller kunnen worden gemaakt. Terug naar Adobe: er zijn ook verschillende camerastandpunten te kiezen, zodat het echt goed overvloeit in wat je al hebt gemaakt. Zelfs vanaf hoe ver er is ‘gefilmd’ is in te stellen.
Toch is ook hier de lengte van de video beperkt: het kan vijf seconden duren en op slechts 720p en 24 frames per seconde. Dat is korter dan Sora, dat een minuut kan op een betere visuele kwaliteit. Verder probeert Adobe het proces van genereren te verkorten: nu is dat nog 90 seconden, maar het zou graag zien dat het korter is.
Het voordeel van Adobe is wel dat de trainingsdata waarschijnlijk iets zuiverder is dan die van OpenAI: Firefly traint puur op content waarvan Adobe toestemming heeft gekregen het te gebruiken. Runway is bijvoorbeeld gewoon op allerlei YouTube-video’s getraind. Bovendien geeft Firefly ook aan dat er AI wordt gebruikt wanneer je de video downloadt. Mooie dingen dus, die naar Premiere Pro komen, al zullen niet alle filmmakers het eens zijn met deze artificiële inmenging in hun werkgebied.
