Сегодня пишем пост с очередным обзором «по заявкам». Прилетела от одного из заказчиков ссылка на нейросеть, которая, по утверждению создателей, умеет создавать цельные, законченные песни. Как сейчас чаще говорят — треки. Причем было заявлено, что нейронка может генерировать не только музыку по описанию, но и качественный вокал со словами, тоже составленными нейросетью — до кучи.
Редакция «Лаборатории контент-маркетинга» тут же приступила к интенсивному тестированию бета-версии сравнительно новой музыкальной нейросети. Делимся с вами результатами, впечатлениями и примерами композиций — с удивлением и прочими эмоциями. Погнали, что ли.
Первые шаги в мир нейронной музыки
Для нас они были реально первыми. До этого никаких серьёзных анализов музыкальных нейросетей мы не делали, экспериментов не ставили и лишь видели боковым зрением какие-то новости по теме. Знали, что есть сервисы, которые могут разложить любую песню на партии — это хорошо работает уже не первый год. Однако сочинять музыку нейросетью под ключ пока не доводилось — было проще взять необходимую музыку без авторских прав и всё. Но тренды надо отслеживать — что и делаем, пусть и с опозданием.
Называется сеть Riffusion, что по нашему мнению подразумевает игру слов riff (то есть музыкальный риф, совокупность аккордов) и fusion (что в частном порядке можно перевести как смешение стилей). Доступ к нейросети в настоящий момент действительно бесплатен — в заголовке нет обмана или кликбейта для заманухи. Всё, что надо для запуска работы — стать зарегистрированным пользователем.
Войти можно, например, по учётной записи Google. И всё, вы сразу получаете полный бесплатный инструмент, без демо-версий и функциональных ограничений. Как минимум — пока бесплатный. И даже без назойливой рекламы. Просто коммунизм. Неужели бесплатное может быть хорошим? Скоро узнаем.
Как пользоваться Riffusion и быстро создавать бесплатную музыку с помощью нейросети
Как-как… В одно касание и в одну строчку. Даже с учётом того, что Riffusion на русском языке пока не представлена, самое простое описание сервиса наподобие нашего вполне поможет разобраться в базовых настройках. Тем более, что они — минимальны.
Перед вами — просто строка, в которую надо вбить промпт — как можно более конкретное описание того, что вы хотите получить в итоге.
Вот в поле, где написано Create the music you imagine, вам надо напечатать описание своего будущего трека. Как работать с нейросетью подробнее, мы и описываем далее.
Для самого простого тестирования мы попросили создать классическую рок-балладу о любви. То есть classic rock ballad about love. Через пару минут (не больше) нейросеть выдаёт нам сразу две версии песни — с женским и мужским вокалом. Она вообще выдаёт сразу по две версии — всегда, очень весомый плюс. И получается… вполне себе солидный уровень — такой классический припопсованный рокешник в духе 90-ых годов прошлого века. Вот один из вариантов — мужской:
Если честно, были приятно удивлены, поражены и даже сражены. Без каких-то костылей, в три минуты и с использованием всего нескольких английских слов вышел вполне себе готовый аудио продукт для использования где угодно. В озвучке романтической рекламы. В фоновой музыке для свадебного видео. В подборке лучших эпизодов отдыха. И так далее.
Кстати, вам не кажется, что в самом начале голосовой части этого трека мужской вокал даже отчасти похож на известного американского армянина Сержа Танкяна, бывшего вокалиста System Of A Down и вполне успешного самостоятельного музыканта?))
Но сразу скажем — в ходе дальнейших тестов мы не смогли создать ни одного промпта с указанием какой-то реальной персоны. Например, сгенерировать с помощью нейросети песню в стиле Metallica или с голосом как у Хэтфилда не получится — нейронка ругается и говорит, вам «ай-яй-яй, так нельзя мной пользоваться, это ж почти дипфейк»!
Но где наша не пропадала. Всегда можно сделать «композицию в стиле трэш-метал и с хрипло-звонким голосом». Или как-то ещё поэкспериментировать — в результате выйдет если не точная копия любимой группы, то вполне себе приемлемое подобие.
А что там насчёт создания песен в Riffusion на русском?
Первая, вторая и третья попытки написать использовать «Рифффьюжн», чтобы написать песню про любовь на русском, получились полностью провальными. Вскоре стало понятно — опять же из-за неверного составления промпта.
Главный наш провал на этом — нейронка писала текст на английском, и хоть убейся. Эврика! А если поставить задачу на русском языке? То есть не song about love, Russian lyrics, как делали до того, а «песня про любовь на русском языке». В итоге формальный результат мы-таки получили — но больше именно формальный, чем реальный.
Ниже — одна из таких песен. Но можете не слушать даже, а просто прочитать дальше текст с общими оценками результатов работы в этом направлении.
Почему сложно назвать результат написания русскоязычной песни с использованием нейросети Riffusion успешным? Вот главные причины:
- Текст пишется правильными русскими словами, но всё равно так, как будто это не русская лирика, а просто построчный перевод английского текста.
- Наличие рифмы в тексте очень условное — говоря проще, если она и есть, это скорее случайность, чем хорошая работа нейросети.
- В интонациях голосов — а мы делали и женский, и мужской вокал — местами отчетливо проскакивает гротескный британский акцент наподобие герцога Бэкингема из советского фильма «Три мушкетёра». ))) Или из плохого американского боевика с плохими русскими парнями — «Я тьебья помнью.»))) А иногда слова вообще произносятся как каша, буквально.
Вот примеры текстов, сгенерированных искусственным интеллектом. Мягко говоря, до идеала ещё работать и работать.
Без рифмы и даже без ритма:
Тихо падает снег за окном
Я сижу и смотрю на часы
Все слова, что хранила давно
Просятся наружу из тишины
Вот туповатый подстрочный перевод:
В тишине ночи
Я скажу тебе всё как есть
Сердце так стучит
Не могу эти чувства скрыть
В тишине ночи
И вишенка на торте — нейронка иногда сходит с ума пытается делать англо-русские тексты, как будто так и было задумано. А получается ещё хуже, чем в предыдущих версиях, полная аритмичная белиберда:
Прошлой ночью мело snowflakes softly
В наших руках время остановилось
Ты и я, следы в белом покрывале,
Твои глаза смотрят, мне не отпустить.
В моём сердце echo of first love,
Снег укроет следы, но не memories.
Так что создать хорошую песню с помощью Riffusion на русском языке пока не вышло. Но лиха беда начало — наверняка скоро ситуация изменится, подумали мы. Подумали — и тут же решили её сами изменить и улучшить.
Дело в том, что в Ruffusion есть ещё одна опция, не испробовать которую мы не могли — ей можно скормить свой вариант текста. Итак. Берём какой-нибудь стих и отдаём нашему нейронному композитору на сочинение мелодии и вокала. Хотелось понять не только то, как ИИ словит ритм, но и вообще — сможет ли понять, какой смысл вложен в стихи.
Не думая слишком долго, воткнули всем известные строки Сергея Есенина — «Да! Теперь решено — без возврата». Тем более, что и песня уже много лет есть на это стихотворение, прикольно будет сравнить.
Попросили сделать в нескольких вариантах — русский рок, рэп, хэви-метал с хриплым голосом. И если убрать несколько откровенных косяков с произношением (например, не старый пёс, а старый пес, плюс опять несколько порций каш вместо некоторых слов), то результат вообще выбил из колеи. Вот здесь просим — реально послушайте, хотя бы минутку.
Рэпованно-гитарный стиль:
Блин, ну разве это не круто? С поправкой на то, что эту песню на русском сделала всё-такие нерусская нейросеть и всего за две минуты?
Между делом мы ещё попробовали создавать и другие музыкальные композиции — например, заставку для выпуска новостей. Как и при работе со всеми нейросетями, качество промпта здесь также оказалось решающим. С пятой-шестой попытки нам удалось создать вполне себе реальный, боевой джингл. Правда, он был длинный — несколько минут, но ведь это не проблема, обрезать всегда можно. Зато можно без склейки подзвучить целый новостной сюжет. Так что длина — скорее плюс, чем минус. Пусть лучше останется, чем не хватит.
Главные выводы из всего обзора нейросети Riffusion com
Нейронка Riffusion для создания музыки подходит очень хорошо — даже отлично. Чтобы не сильно загружать вас ещё более длинным текстом, добавим лишь, что при составлении правильных промптов вы можете работать с любыми жанрами вплоть до классической музыки. И работать вам будет по-настоящему просто — и ещё очень увлекательно. Сервис годны — заявляем ответственно. И к тому же пока что полностью бесплатный. И все полученные треки в Riffision скачать тоже можно без каких-то ограничений — в один клик. А архив ваших экспериментов будет на всякий случай храниться в вашем личном кабинете — для этого надо просто зайти в раздел Library (библиотека то есть) слева вверху страницы.
Также здесь есть и другие инструменты для создания, редактирования и микширования аудиозаписей, так что вам совершенно точно не будет скучно. Мы очень надеемся, что наш опыт и обзор был для вас и интересен, и полезен. И что вы сможете развить его, занимаясь дальнейшим изучением этой платформы самостоятельно. Спасибо за внимание!
==Если вам нравятся наши публикации, заходите также и в канал Лаборатории Контента в Telegram, там полезностей даже больше, чем на сайте 😉
Искренне ваша,
Лаборатория контент-маркетинга Александра Алмиса.
