メインコンテンツまでスキップ

音声サービス

Elftia は、音声認識(ASR、Automatic Speech Recognition)と音声合成(TTS、Text-to-Speech)という 2 種類の音声サービスを統合しており、会話やコンテンツ作成で音声とテキストを自由に切り替えられます。

ユースケース

  • 音声メッセージや録音した音声ファイルを自動的にテキストへ書き起こす
  • AI の返信や任意のテキストを音声に変換して再生する
  • タイピングしにくい場面で音声入力を使用する
  • 生成したコンテンツにナレーションを追加する

音声認識(ASR)

音声認識機能は、音声ファイル内の発話をテキストに書き起こします。

対応プロバイダー

プロバイダー種別識別子説明
OpenAI Whisperopenai-whisperOpenAI の Whisper 音声認識 API。複数の言語に対応しています
ElevenLabs Scribeelevenlabs-sttElevenLabs の speech-to-text サービス
Fish Audiofishaudio-asrFish Audio の音声認識サービス

設定手順

  1. 設定 > メディアプロバイダー > 音声認識 を開く
  2. ASR プロバイダーを選択する
  3. API Key を入力する
  4. デフォルトモデルを選択する(例: whisper-1
  5. 保存して有効化する
  6. (任意)デフォルトプロバイダーとして設定する

設定パラメーター

設定説明必須
API Keyプロバイダーの API キーはい
デフォルトモデル書き起こしに使用するモデルいいえ(プロバイダーのデフォルトを使用)
デフォルトプロバイダーこれをデフォルトの ASR プロバイダーとして設定するかどうかいいえ

使い方

  1. 音声クリップを選択または録音する
  2. システムが設定済みの ASR プロバイダーへ音声を自動的に送信する
  3. 書き起こし結果がテキストとして返される

自動フォーマット変換

ASR サービスには自動フォーマット変換機能が組み込まれています。アップロードされた音声ファイルの形式が Whisper API でネイティブにサポートされていない場合、システムは書き起こし前に ffmpeg を使用して WAV への自動変換を試みます。

ネイティブ対応の音声フォーマット

フォーマット拡張子
FLAC.flac
M4A.m4a
MP3.mp3
MP4.mp4
MPEG.mpeg, .mpga
OGG.oga, .ogg
WAV.wav
WebM.webm

その他の形式(.amr.silk など)は、処理前に自動的に WAV へ変換されます。

:::info ffmpeg の依存関係 自動フォーマット変換機能を使用するには、システムに ffmpeg がインストールされている必要があります。ffmpeg がインストールされていない場合、対応していない形式は API に直接送信されます(API が処理を拒否する可能性があります)。 :::

書き起こしパラメーター

パラメーター説明
providerId使用する ASR プロバイダーを指定します(任意。未指定の場合はデフォルトプロバイダー)
modelId使用するモデルを指定します(任意)
language音声の言語を指定します(任意。未設定の場合は自動検出)

音声合成(TTS)

音声合成機能は、テキストコンテンツを自然な響きの音声に変換します。

対応プロバイダー

プロバイダー種別識別子説明
ElevenLabselevenlabs-tts豊富な音声から選択できる、高品質な多言語音声合成
Fish Audiofishaudio-ttsFish Audio の音声合成サービス

設定手順

  1. 設定 > メディアプロバイダー > 音声合成 を開く
  2. TTS プロバイダーを選択する
  3. API Key を入力する
  4. デフォルトモデルを選択する
  5. デフォルト音声を選択する
  6. 保存して有効化する
  7. (任意)デフォルトプロバイダーとして設定する

設定パラメーター

設定説明必須
API Keyプロバイダーの API キーはい
デフォルトモデル音声合成に使用するモデルいいえ
デフォルト音声使用するデフォルト音声 IDいいえ
デフォルトプロバイダーこれをデフォルトの TTS プロバイダーとして設定するかどうかいいえ

使い方

  1. 変換したいテキストコンテンツを選択する
  2. 音声を選択する
  3. システムがテキストを TTS プロバイダーへ送信する
  4. 生成された音声は直接再生するか、保存できます

音声の選択

各 TTS プロバイダーでは複数の音声を選択できます。次のことができます。

  1. TTS 設定で利用可能な音声一覧を確認する
  2. 異なる音声の効果をプレビューする
  3. 1 つの音声をデフォルトとして選択する

音声一覧は API 経由で動的に取得され、プロバイダーが提供内容を更新すると変化します。

出力フォーマット

フォーマット説明
mp3汎用音声フォーマット(デフォルト)
wavロスレス音声フォーマット
oggオープンソースの圧縮フォーマット
opus効率的な圧縮フォーマット
pcm生の音声データ

合成パラメーター

パラメーター説明
providerId使用する TTS プロバイダーを指定します(任意)
modelId使用するモデルを指定します(任意)
voiceId使用する音声を指定します(任意)
outputFormat出力音声フォーマット(任意。デフォルトは mp3
outputDir保存ディレクトリ(任意)

よくある質問

質問解決策
ASR の書き起こしが空になる音声ファイルに有効な発話が含まれており、破損していないことを確認してください
対応していない音声フォーマットffmpeg をインストールして自動フォーマット変換を有効にしてください
TTS で生成された音声が不自然に聞こえる別の音声またはモデルへの切り替えを試してください。一部の音声は特定の言語でより良く動作します
音声一覧が空API キーが有効で、プロバイダーのサービスが正常に動作していることを確認してください
書き起こし結果が不正確正しい言語パラメーターを指定するか、より適したモデルを選択してみてください
TTS で音声が出力されないシステム音量と音声出力デバイスを確認し、生成されたファイルが空でないことを確認してください

関連リンク