Meta Platforms представиха през тази седмица Voicebox, генеративен AI модел, способен да извършва различни задачи, сред които синтезиране на реч, стилизиране и редакция на съдържание, предава Silicon Angle.
Създателите на Voicebox описват технологията, като такава, която прави с речта това, което услуги, като ChatGPT и DALL-E правят с блокове теккст и изображения съответно.
„Подобно на генеративните системи за изображения и текст, Voicebox създава резултати в различни стилове и може да създава подобни резултати, както от нулата, така и да променя готова проба. Но вместо да създава картина или текст, Voicebox генерира висококачествени аудио клипове“, пишат изследователите от AI отдела на Meta. Voicebox е технология, способна да синтезира реч на шест различни езика без специализирано обучение, а също така и да редактира съдържание, в това число корекция на паузи и прекъсвания, промяна на стила на говорене и да генерира гласови пример с различни гласове, допълват специалистите.
Това, което отличава Voicebox от другите подобни модели е, че те не могат да генерализират съдържание при зададени множество задачи и трябва да бъдат обучени специално за различни задача чрез специализирано обучение. Meta са успели да накарат Voicebox да звучи повече човешки, като изграждат модел на основата модела на съпоставянето на потоци, който позволява на изкуствения интелект да се учи от разнообразна езикова информация без нуждата от етикитиране на отделните вариации на речта.
Технологията може да използва едва две секунден звук, за да го съпостави с определена езикова проба и да го използва за генерирането на текст към реч. Заедно с това, Voicebox може да редактира вече готови звукови клипове, за да съответстват на определен стил, да възпроизвежда различни гласове, тонове и ритъм, да предсказва какви думи са били казани и да определят как би трябвало да звучат, ако са прекъснати по време на клипа. Meta подчертава риска Voicebox да бъде използван неправомерно, което е и причината той да не бъде пуснат в публичен достъп. Microsoft също не публикуват VALL-E поради същата причина.
„Докато вярваме, че е важно да сме открити с AI общността и да споделим рано резултатите от изследването ни с цел да подобрим проучванията в областта, то е нужно да бъде спазван точния баланс между откритост и отговорност“, пишат Meta.
