Перейти к основному содержимому

Обзор генерации медиа

Elftia интегрирует несколько возможностей генерации медиа с помощью ИИ, охватывающих создание изображений, видео и музыки, а также распознавание речи (ASR) и синтез речи (TTS), позволяя генерировать мультимедийный контент с помощью ИИ прямо в рамках чата и рабочих процессов создания контента.

Варианты использования​

  • Генерировать иллюстрации, концептуальные дизайны или произведения искусства с помощью ИИ во время чата
  • Создавать короткие видеоролики из текстовых описаний
  • Создавать ИИ-музыку из текстовых промптов и необязательных текстов песен
  • Автоматически транскрибировать голосовые сообщения в текст
  • Преобразовывать ответы ИИ или произвольный текст в речь для воспроизведения

Поддерживаемые типы медиа​

Тип медиаОписаниеПоддерживаемые провайдеры
Генерация изображенийСоздание изображений из текстовых промптовGemini, OpenAI (DALL-E), Vertex AI, пользовательские провайдеры
Генерация видеоСоздание видео из текста или изображенийKling AI, OpenAI (Sora), Replicate, VolcEngine, Wan
Генерация музыкиСоздание музыки из текстовых промптовACEMusic
Распознавание речи (ASR)Транскрибирование аудиофайлов в текстOpenAI Whisper, ElevenLabs Scribe, Fish Audio
Синтез речи (TTS)Преобразование текста в речьElevenLabs, Fish Audio

Общий рабочий процесс​

Все функции генерации медиа следуют схожему рабочему процессу:

Настроить провайдера → Выбрать модель → Ввести параметры → Сгенерировать → Просмотреть / сохранить результат

Шаг 1: Настройка провайдера​

  1. Откройте Настройки > Медиапровайдеры
  2. Найдите провайдера для нужного типа медиа
  3. Введите API-ключ и необходимую конфигурацию
  4. Включите провайдера

Шаг 2: Генерация контента​

В зависимости от типа медиа введите параметры в соответствующем UI и сгенерируйте контент. Конкретные шаги описаны в подробной документации по каждому типу медиа.

Шаг 3: Просмотр и сохранение​

Сгенерированный медиаконтент можно просмотреть непосредственно в приложении и сохранить в локальную файловую систему.

Глобальные настройки​

Все функции генерации медиа используют следующие общие глобальные настройки:

НастройкаОписаниеПо умолчанию
ПараллелизмМаксимальное количество одновременных задач генерации3
Количество повторных попытокКоличество автоматических повторных попыток при сбое генерации2

Управление провайдерами​

Встроенные провайдеры​

Elftia включает определения для основных провайдеров генерации медиа. Достаточно ввести API-ключ, чтобы начать работу.

Пользовательские провайдеры​

Для провайдеров, не входящих во встроенный список, можно добавить пользовательского провайдера вручную:

  1. Нажмите Добавить пользовательского провайдера в настройках медиапровайдеров
  2. Заполните имя провайдера, конечную точку API и данные аутентификации
  3. Настройте список моделей и параметры по умолчанию
  4. Сохраните и включите

Подробная документация​

Часто задаваемые вопросы​

ВопросРешение
Провайдер отображается как ненастроенныйПроверьте, что введён правильный API-ключ
Запрос на генерацию истекает по таймаутуНекоторые задачи генерации (особенно видео) занимают много времени — пожалуйста, подождите
Низкое качество генерацииПопробуйте уточнить описание в промпте; добавьте больше деталей и указаний по стилю
Квота API исчерпанаПроверьте квоту использования у провайдера; рассмотрите возможность обновления плана или смены провайдера

Связанные ссылки​