Elftia は、音声認識(ASR、Automatic Speech Recognition)と音声合成(TTS、Text-to-Speech)という 2 種類の音声サービスを統合しており、会話やコンテンツ作成で音声とテキストを自由に切り替えられます。
ユースケース
- 音声メッセージや録音した音声ファイルを自動的にテキストへ書き起こす
- AI の返信や任意のテキストを音声に変換して再生する
- タイピングしにくい場面で音声入力を使用する
- 生成したコンテンツにナレーションを追加する
音声認識(ASR)
音声認識機能は、音声ファイル内の発話をテキストに書き起こします。
対応プロバイダー
| プロバイダー | 種別識別子 | 説明 |
|---|
| OpenAI Whisper | openai-whisper | OpenAI の Whisper 音声認識 API。複数の言語に対応しています |
| ElevenLabs Scribe | elevenlabs-stt | ElevenLabs の speech-to-text サービス |
| Fish Audio | fishaudio-asr | Fish Audio の音声認識サービス |
設定手順
- 設定 > メディアプロバイダー > 音声認識 を開く
- ASR プロバイダーを選択する
- API Key を入力する
- デフォルトモデルを選択する(例:
whisper-1)
- 保存して有効化する
- (任意)デフォルトプロバイダーとして設定する
設定パラメーター
| 設定 | 説明 | 必須 |
|---|
| API Key | プロバイダーの API キー | はい |
| デフォルトモデル | 書き起こしに使用するモデル | いいえ(プロバイダーのデフォルトを使用) |
| デフォルトプロバイダー | これをデフォルトの ASR プロバイダーとして設定するかどうか | いいえ |
使い方
- 音声クリップを選択または録音する
- システムが設定済みの ASR プロバイダーへ音声を自動的に送信する
- 書き起こし結果がテキストとして返される
自動フォーマット変換
ASR サービスには自動フォーマット変換機能が組み込まれています。アップロードされた音声ファイルの形式が Whisper API でネイティブにサポートされていない場合、システムは書き起こし前に ffmpeg を使用して WAV への自動変換を試みます。
ネイティブ対応の音声フォーマット
| フォーマット | 拡張子 |
|---|
| FLAC | .flac |
| M4A | .m4a |
| MP3 | .mp3 |
| MP4 | .mp4 |
| MPEG | .mpeg, .mpga |
| OGG | .oga, .ogg |
| WAV | .wav |
| WebM | .webm |
その他の形式(.amr や .silk など)は、処理前に自動的に WAV へ変換されます。
:::info ffmpeg の依存関係
自動フォーマット変換機能を使用するには、システムに ffmpeg がインストールされている必要があります。ffmpeg がインストールされていない場合、対応していない形式は API に直接送信されます(API が処理を拒否する可能性があります)。
:::
書き起こしパラメーター
| パラメーター | 説明 |
|---|
providerId | 使用する ASR プロバイダーを指定します(任意。未指定の場合はデフォルトプロバイダー) |
modelId | 使用するモデルを指定します(任意) |
language | 音声の言語を指定します(任意。未設定の場合は自動検出) |
音声合成(TTS)
音声合成機能は、テキストコンテンツを自然な響きの音声に変換します。
対応プロバイダー
| プロバイダー | 種別識別子 | 説明 |
|---|
| ElevenLabs | elevenlabs-tts | 豊富な音声から選択できる、高品質な多言語音声合成 |
| Fish Audio | fishaudio-tts | Fish Audio の音声合成サービス |
設定手順
- 設定 > メディアプロバイダー > 音声合成 を開く
- TTS プロバイダーを選択する
- API Key を入力する
- デフォルトモデルを選択する
- デフォルト音声を選択する
- 保存して有効化する
- (任意)デフォルトプロバイダーとして設定する
設定パラメーター
| 設定 | 説明 | 必須 |
|---|
| API Key | プロバイダーの API キー | はい |
| デフォルトモデル | 音声合成に使用するモデル | いいえ |
| デフォルト音声 | 使用するデフォルト音声 ID | いいえ |
| デフォルトプロバイダー | これをデフォルトの TTS プロバイダーとして設定するかどうか | いいえ |
使い方
- 変換したいテキストコンテンツを選択する
- 音声を選択する
- システムがテキストを TTS プロバイダーへ送信する
- 生成された音声は直接再生するか、保存できます
音声の選択
各 TTS プロバイダーでは複数の音声を選択できます。次のことができます。
- TTS 設定で利用可能な音声一覧を確認する
- 異なる音声の効果をプレビューする
- 1 つの音声をデフォルトとして選択する
音声一覧は API 経由で動的に取得され、プロバイダーが提供内容を更新すると変化します。
出力フォーマット
| フォーマット | 説明 |
|---|
mp3 | 汎用音声フォーマット(デフォルト) |
wav | ロスレス音声フォーマット |
ogg | オープンソースの圧縮フォーマット |
opus | 効率的な圧縮フォーマット |
pcm | 生の音声データ |
合成パラメーター
| パラメーター | 説明 |
|---|
providerId | 使用する TTS プロバイダーを指定します(任意) |
modelId | 使用するモデルを指定します(任意) |
voiceId | 使用する音声を指定します(任意) |
outputFormat | 出力音声フォーマット(任意。デフォルトは mp3) |
outputDir | 保存ディレクトリ(任意) |
よくある質問
| 質問 | 解決策 |
|---|
| ASR の書き起こしが空になる | 音声ファイルに有効な発話が含まれており、破損していないことを確認してください |
| 対応していない音声フォーマット | ffmpeg をインストールして自動フォーマット変換を有効にしてください |
| TTS で生成された音声が不自然に聞こえる | 別の音声またはモデルへの切り替えを試してください。一部の音声は特定の言語でより良く動作します |
| 音声一覧が空 | API キーが有効で、プロバイダーのサービスが正常に動作していることを確認してください |
| 書き起こし結果が不正確 | 正しい言語パラメーターを指定するか、より適したモデルを選択してみてください |
| TTS で音声が出力されない | システム音量と音声出力デバイスを確認し、生成されたファイルが空でないことを確認してください |
関連リンク