Вашите , четиригодишен генеративен стартиращ AI, който помага на компаниите да създават цифрови реплики на индивиди за автоматизирани персонализирани видео кампании, потвърди ново финансиране от 18 милиона долара и разкри, че отваря платформата си за трети страни, за да интегрират своя софтуер с технологията на компанията .
Доклади се появи още през август че Tavus е събрал около 18 милиона долара, но подробностите са оскъдни. Сега компанията потвърди пред Gadget Insider, че наистина е събрала 18 милиона долара в кръг от серия А, воден от Scale Venture Partners — VC в ранен етап, който преди това е подкрепял подобни на Box, HubSpot и DocuSign. Други забележителни инвеститори включват Sequoia, която ръководи началния кръг на Tavus за ,1 милиона миналата година, който участва заедно с Y Combinator (YC) и HubSpot.
Tavus използва генеративен AI, за да захранва персонализирани видеоклипове с клониране на глас и лице
Видеото заема централно място
Генеративното AI движение е най-добре илюстрирано от текстови търсачки като ChatGPT и модели текст към изображение като DALL-E, които OpenAI е в процес на комбиниране в една единствена платформа за пеене. Но ако последните няколко месеца са били нещо, генеративният AI може да е на прага на друга малка революция, като видеото заема централно място.
OpenAI наскоро дебютира Sora, модел за текст към видео, който може да трансформира творческата индустрия, такава каквато я познаваме. Но това далеч не е единственият играч в града, като технологични гиганти като Google работят върху подобни инструменти от няколко години, а не споменете множество стартиращи фирми, които са нараснали значителен парчета промяна на VC през изминалата година за различни реализации за това как генеративният AI може да се пресича с видеото.
Tavus, от своя страна, работи със своите клиенти за създаване на реплики на индивиди чрез клониране на глас и лице. Идеята е, че екипите по продажбите и маркетинга могат да използват Tavus, за да изпращат персонализирани видеоклипове до потенциални клиенти в мащаб, или може би продуктов екип може да създаде индивидуализирани видеоклипове за насочване към нови клиенти – всичко това чрез прости текстови подкани, които използват създадената преди това цифрова реплика. И чрез интегриране на Tavus със системи на трети страни като Salesforce или Mailchimp, компаниите могат да автоматизират голяма част от това - например, клиент, който попълни онлайн формуляр, изискващ допълнителна информация за продукт, може незабавно да получи имейл с видеоклип с адрес на търговски представител перспективата по име и обяснение на следващите стъпки.
Tavus успя да осигури някои клиенти с доста големи имена през краткия си живот досега, включително Salesforce и майката на Facebook Meta, която е съосновател и главен изпълнителен директор Хасан Раза казаха, че използват платформата, за да продават повече на своите съответни B2B клиенти чрез персонализирани демонстрационни видеоклипове.
Tavus като платформа
Досега Tavus се обслужваше чрез SaaS приложение, чрез което клиентите създават свои собствени AI видео шаблони. Процесът на включване изисква физическо лице, като главен изпълнителен директор или изпълнителен директор по продажбите,за запис на 15-минутен видеоклип по сценарий, предоставен от Tavus.
Клонирането на Тавус в действие. Кредити за изображения : Ваш
След това това се използва за обучение на AI, след което потребителят отива в уеб редактор и избира кои части от видеоклипа желае да персонализира, като дефинира променливите - като местоположение, изпълнително име, компания или продукт. Като обвържат Tavus със своята CRM система, компаниите могат да променят всяка от тези променливи, за да отговарят на определен клиентски сегмент, като например тези, които са изразили интерес към определен продукт.
Редактиране на променливи. Кредити за изображения : Ваш
Компаниите могат да създадат стотици от тези реплики с различен персонал, пълен с различен опит за различни целеви пазари.
Чрез редактора в приложението е възможно да се генерират произволен брой различни скриптове, които да се прикачат към всеки случай на употреба - без да се налага да записвате повторно който и да е от оригиналния видеоклип.
Различните аватари на Tavus. Кредити за изображения : Ваш
Въпреки че този основен SaaS продукт няма да изчезне, Tavus днес вдига капака на нова турбо версия на своята технология заедно с първата част от набор от API за разработчици, които позволяват на трети страни да интегрират Tavus в техните собствени приложения.
Репликиране
Първият аспект на новата платформа за разработчици на Tavus, който ще се появи, е неговият API за реплики, който е свързан със създаването на фотореалистични цифрови реплики, пълни с генериране на текст към видео. С това една компания може да възпроизведе човек (напр. ръководител на маркетинга или главен изпълнителен директор), използвайки нов патентован модел, създаден от Tavus, наречен Phoenix, който се основава на метод за задълбочено обучение, наречен невронно излъчващо поле (NeRF). Това може да генерира 3D конструкция на човек от 2D изображения само за няколко минути.
По същество ви позволява да създавате цели видеоклипове само с две минути данни за обучение, което е голям скок напред от начина, по който преди правехме персонализирането в мащаб, каза Раза пред Gadget Insider. И така, сега всичко, което трябва да направите, е да запишете две минути тренировъчни данни и това ще създаде пълна ваша реплика. И след като имате реплика, можете да правите толкова видеоклипове, колкото искате - от един, два или хиляда скрипта.
snapchat a.i история
Симулация, показваща как Tavus картографира лицето на потребителите, за да създаде реалистична реплика. Кредити за изображения : Ваш
Резултат: Моделът Phoenix на Tavus конструира 3D модел, използвайки 2D видео вход чрез NeRF. Кредити за изображения : Ваш
Встъпителният API за реплика се основава на цялата функционалност на модела Phoenix и улавя движението на лицето на индивида, включително бузите, носа, веждите и устните.
Движението на цялото ви лице води до реализъм, естественост и качество - когато говорите, лицето ви изразява емоция отвъд движението на устните ви, обясни Раза. Ако искате да генерирате цяло видео от скрипт - там, където говорите, такъв, който изглежда естествено и е с невероятно високо качество - бихте искали да използвате API за реплика.
Въпреки това Tavus разработва и редица допълнителни API, включително един специално за синхронизиране на устни, един за дублаж и един за провеждане на масови, персонализирани видео кампании.
API за синхронизиране на устните ще има по-ниска входна цена, според Raza, и е по-добър за ситуации, в които не е необходима висока степен на качество и реализъм.
Междувременно API за дублиране също използва модела за синхронизиране на устни, но включва и многоезично гласово клониране, което означава, че едноезичен потребител може да изпраща видеокампании на произволен брой езици, използвайки собствения си глас. В този случай, като се има предвид, че по-голямата част от видеоклипа ще остане същата, API позволява проста замяна на движенията на устните, за да се приведат в съответствие с различните звуци, идващи от устата на потребителя. Това може да се окаже полезно за създателите на софтуерен пакет за редактиране на видео, например, когато искат да дадат възможност на своите потребители да добавят синхронизиране на устни, редактиране и дублаж към своите видеоклипове.
След това приложният програмен интерфейс (API) за видеокампании основно обединява API за реплики заедно с набор от допълнителни инструменти – като хостинг, картографиране на променливи, миниатюри и анализи – за тези, които искат да стартират широкомащабни видеокампании.
Предоставяме възможността на всеки разработчик да осигури изживяване с видеокампания от край до край, в рамките на собствените си решения, каза Раза. Докато приложните програмни интерфейси за реплика и синхронизиране на устни са по-скоро „модел като услуга“, API за кампанията ви дава инструменти за лесно изграждане на платформа за видеокампания с изкуствен интелект.
Раза остана свенлив кои са някои от първите потребители на платформата Tavus, но каза, че тя работи с една от най-големите видео платформи за ангажиране на клиентите. Те се стремят да предоставят това на своите милиони клиенти, които вече използват тяхната платформа за ежедневно създаване на видео, каза Раза.
Дийпфейк дилема
Инстинктивно платформи като Tavus са узрели за злоупотреба - в края на краищата, какво пречи на някой да качи вече съществуващ видеоклип, за да създаде цифрова реплика? Deepfakes наистина предизвикват нарастващо безпокойство в процъфтяващото движение за изкуствен интелект, но Raza казва, че имат проверки, за да предотвратят измамите. Например, когато потребител изпрати своите двуминутни кадри от обучението, той също трябва да изпрати конкретно изявление за устно съгласие, което след това се привежда в съответствие с аудиото в кадрите от обучението, за да се гарантира, че има съвпадение.
Извършваме тези проверки автоматично и след това извършваме човешка проверка за всяка реплика, която преминава през автоматизираните проверки, за да гарантираме безопасността, каза Раза.
Лесно е да се види как това може да работи с Tavus като самостоятелно SaaS приложение, но сега, когато това е платформа, достъпвана от произволен брой компании чрез API, кой тогава контролира проверката? Е, както се оказа, Tavus е - компанията иска да държи ръцете си върху колелото за проверка, дори когато просто предоставя двигателя за разработчици от трети страни.
Провеждаме същите проверки и поемаме отговорност и за проверките с [] API, продължи Раза.
powerlanguage.co.uk
Разширяване на реалността
Докато OpenAI се превърна почти в публичното лице на генеративния AI, има повече от достатъчно стая за различни играчи внасяйки нещо различно в микса. Всъщност, докато наскоро пуснатият модел Sora на DALL-E и OpenAI е най-вече за това да помага на хората да създават визуализации от текстови подкани, Raza казва, че raison d’être на Tavus е повече за разширяване на собствената реалност на човека.
Виждаме бъдеще, в което всеки иска да има цифрово копие на себе си; те контролират това и имат пълна власт над това, каза Раза. И ще бъде важно това всъщност да улови все повече и повече от вашата личност, все повече и повече от вашите жестове и черти. Ето как виждаме нещата напред - ще има модели, които създават неща, които не съществуват, и след това ще има модели, които разширяват вашата реалност.
С 18 милиона долара в банката Раза каза, че скорошната парична инжекция ще бъде използвана за подхранване на огъня, който вече гори в Tavus Towers.
Ние сме изследователска компания за AI, така че искаме да можем да продължим разработването на по-нови модели като Phoenix, каза Раза. Но след това просто поддържаме растежа си, непрекъснато имаме много търсене. И ние искаме да можем непрекъснато да наемаме нашите екипи за машинно обучение и инженеринг, които да подкрепят нашите разработчици и клиенти на SaaS.