Featured image of post 無料で使える音声・音響データセットカタログ
AI

無料で使える音声・音響データセットカタログ

目次

背景

  • 仕事で、ASR(音声認識)・TTS(音声合成)・VAD/話者ダイアライゼーション・ターン検出などのモデルを作った
  • そのために、無料で使える音声・音響データセットを探してかき集めた
  • 手元に貯まった数十個のデータセットを整理して、後から見返せるようにカタログ化した
  • 量が多いのでAIにローカルの物を全部まとめてもらった結果なのでいくつか間違いがあるかもしれないところは注意
  • データセットごとに「どんなデータか」「何に使えるか」「どこから落とせるか」「件数・サイズ」「ライセンス」をまとめた
  • ライセンス欄は各配布元の記載をそのまま転記しただけで、「記載なし」は自由に使ってよいという意味ではない
  • 調査の過程で見つかった商用・研究専用など無料で使えないデータセットも、比較の参考として一部残してある(ライセンス欄に⚠️で明記)
  • ダウンロード・変換用のスクリプトや作業用キャッシュなど、データセットそのものではないものはこのカタログには含めていない

会話・雑談音声

AMI Meeting Corpus

  • 内容
    • 英語の多人数会議録音(近接マイクIHM + 単一遠隔マイクSDM)、発話単位の書き起こし・話者ID付き、非ネイティブ英語話者が多い
  • 想定用途
    • 会議音声のASR・話者分離モデルの学習/評価
  • 入手元
  • ライセンス
    • CC BY 4.0
  • 件数/サイズ
    • IHM 108,502/13,098/12,643件(train/val/test)、SDMも同規模、28G
  • 形式
    • Parquet(16kHz)

CALLFRIEND

  • 内容
    • 友人・家族間の自然な電話会話、話者ダイアライゼーション形式(発話区間タイムスタンプ+話者ラベル)、英語(2方言)・カナダ仏語・日本語
  • 想定用途
    • 自然会話のダイアライゼーション/ASR研究
  • 入手元
  • ライセンス
    • 記載なし(TalkBank利用規約に準拠、下記注意参照)
  • 件数/サイズ
    • 72件(2.5G)
  • 形式
    • Parquet

SAKURA(TalkBank)

  • 内容
    • 長尺の会話音声+タイムスタンプ付き話者ターン(失語症/談話インタビュー系コレクション)
  • 想定用途
    • 談話分析・長尺対話ダイアライゼーション研究
  • 入手元
  • ライセンス
    • 記載なし(TalkBank規約準拠)
  • 件数/サイズ
    • 18件(845M)
  • 形式
    • Parquet

BTSJ日本語自然会話コーパス

  • 内容
    • 国立国語研究所/宇佐美まゆみ研究室、32トピックの日本語会話、ターン交替・ポーズ・重なり・イントネーション注記付きExcel文字化
  • 想定用途
    • 日本語会話の言語学的分析、ターン交替・相槌研究
  • 入手元
  • ライセンス
    • 記載なし(NINJAL独自の研究利用規約、オープンライセンスではない)
  • 件数/サイズ
    • mp3 390件、xlsx文字化549件(12G)
  • 形式
    • mp3 + xlsx

Real-PersonaChat

  • 内容
    • 音声なし・テキストのみ、日本語雑談対話+話者パーソナリティ(Big Five等)注釈、GPT-3.5/4によるペルソナ対話ログも含む
  • 想定用途
    • 対話システム・ペルソナ対話生成の研究
  • 入手元
  • ライセンス
    • CC BY-SA 4.0
  • 件数/サイズ
    • 対話13,583件・発話408,619件(141M)
  • 形式
    • JSON(テキストのみ)

SeniorTalk

  • 内容
    • 75〜85歳の中国語話者202名による高品質会話音声、文字レベルの手動転写+発話・話者レベルのアノテーション付き
  • 想定用途
    • 高齢者向けASR・話者検証・話者分離の研究
  • 入手元
  • ライセンス
    • CC BY-NC-SA 4.0(非商用)
  • 件数/サイズ
    • 対話101件・55.53時間(ASR用60,029発話・37.81時間)、20.9G
  • 形式
    • wav(16kHz)+ テキスト転写

J-CHAT

  • 内容
    • YouTube・ポッドキャストから収集した日本語大規模対話音声コーパス、音声言語モデリング研究向け
  • 想定用途
    • 日本語の音声対話モデリング、対話音声の事前学習
  • 入手元
  • ライセンス
    • ⚠️CC BY-NC 4.0(非商用)、日本国著作権法第30条の4の目的に限り使用可という制限も明記
  • 件数/サイズ
    • 約76,000時間
  • 形式
    • lhotse/WebDataset形式(音声+JSON転写)
  • 備考
    • 実際に試した限りではモノラル音声で、話者分離(話者ダイアライゼーション)はされていなかった

MagicHub 日本語自然会話

  • 内容
    • 日本語の自然な2者間電話/会話音声、話者・性別・[LAUGHTER][PII][MUSIC]等のタグ付き時刻同期書き起こし
  • 想定用途
    • 日本語自然会話ASRモデルの学習(商用データセット)
  • 入手元
  • ライセンス
    • ⚠️独自ライセンス(全権利留保)、著作権者の許可なく複製・再配布禁止
  • 件数/サイズ
    • wav 20件・話者10名(1.8G)
  • 形式
    • wav + txt

Global Conversational Speech

  • 内容
    • 18言語(日本語含む)の会話音声(医療・会議・コールセンター等)、原本は305時間/199GB
  • 想定用途
    • 多言語会話ASR/翻訳モデルの学習(商用)
  • 入手元
  • ライセンス
    • ⚠️商用ライセンス(有償・ゲート付き)、$65/時間
  • 件数/サイズ
    • 未ダウンロード(READMEのみ)
  • 形式
    • —

音声認識(ASR)コーパス

Common Voice 17.0

  • 内容
    • Mozillaのクラウドソース多言語読み上げ音声、約122言語(日本語含む)、年齢/性別/アクセント等のメタデータ付き
  • 想定用途
    • 多言語ASRモデルの学習・評価の定番データ
  • 入手元
  • ライセンス
    • CC0-1.0(パブリックドメイン)
  • 件数/サイズ
    • validated分だけで約1,478万件(521G)
  • 形式
    • mp3(tar格納)+ tsv

LibriSpeech ASR

  • 内容
    • 英語の朗読音声(オーディオブック)ASRコーパス、clean/other/all構成、train/val/test分割、書き起こし・話者ID付き
  • 想定用途
    • 英語ASRモデルの標準ベンチマーク・学習
  • 入手元
  • ライセンス
    • CC BY 4.0
  • 件数/サイズ
    • 全構成合計 約29.2万件(116G)
  • 形式
    • Parquet(16kHz)

ja_asr.common_voice_8_0

  • 内容
    • Common Voice 8.0の日本語ASRサブセット(testのみ)、音声+書き起こしペア
  • 想定用途
    • 日本語ASRモデルの評価(testセットのみ)
  • 入手元
  • ライセンス
    • 記載なし(元のCommon VoiceはCC0)
  • 件数/サイズ
    • 4,483件(145M)
  • 形式
    • FLAC(48kHz)

Genshin-Voice-Ja

ReazonSpeech

  • 内容
    • 地上波テレビ放送から抽出した自然な日本語音声、FLAC音声+テキスト転記。tiny/small/medium/large/allの5段階のサイズで提供されており、small・medium・largeを実際に試した
  • 想定用途
    • 日本語ASRモデルの学習(実放送音声)
  • 入手元
  • ライセンス
    • CDLA-Sharing-1.0、⚠️加えて日本国著作権法第30条の4の目的に限り使用可という制限付き
  • 件数/サイズ
    • tiny: 600MB/8.5時間、small: 6GB/100時間(実測62,047件・6.7G)、medium: 65GB/1000時間、large: 330GB/5000時間、all: 2.3TB/35000時間
  • 形式
    • FLAC(16kHz)

whisper_transcriptions.reazonspeech.small.wer_10.0

Google Speech Commands

  • 内容
    • Googleが公開する1秒間の英語音声集、「Yes」「No」「Up」等10個のコマンド単語を中心に補助単語・沈黙音声も収録
  • 想定用途
    • キーワードスポッティング(限定語彙音声認識)、小規模モデルの学習・評価の定番ベンチマーク
  • 入手元
  • ライセンス
    • CC BY 4.0
  • 件数/サイズ
    • v0.01: 30単語・64,727件、v0.02: 35単語・105,829件
  • 形式
    • wav(16kHz)

asr-noise-robust-en

  • 内容
    • CAIMAN・ノイズ付きLibriSpeech・Buckeye・Switchboard・AMI-validationの混合クリップ集(HF m-aliabbas1/asr-noise-robust-en)
  • 想定用途
    • ノイズ耐性ASRの評価(未確認)
  • 入手元
  • ライセンス
    • 記載なし
  • 件数/サイズ
    • READMEのみで実データは未確認
  • 形式
    • —

環境音・ノイズ・非音声イベント

Freesound LAION-640k

  • 内容
    • LAION-Audio-630k向けにキュレーションされたFreesound.org音声+テキスト(タイトル/説明/タグ)、クリップごとにライセンス情報付き
  • 想定用途
    • 音声-テキスト対照学習(CLAP等)、音響イベント検索
  • 入手元
  • ライセンス
    • メタデータはMIT、音声はクリップごとに異なる(CC0/CC-BY/CC-BY-NC/CC-Sampling+が混在)
  • 件数/サイズ
    • 505,618件(633G)
  • 形式
    • Parquet

clotho-ja

  • 内容
    • 環境音の音声ファイルに複数の英語キャプションとその日本語訳を付与した音声キャプショニング用データセット(Clothoの日本語版)
  • 想定用途
    • 音声キャプション生成、音声-テキスト対応学習
  • 入手元
  • ライセンス
    • 記載なし
  • 件数/サイズ
    • 19,700件、音声長15〜30秒
  • 形式
    • Parquet

TAU Urban Acoustic Scenes 2022 Mobile(split5)

DNS-Challenge

  • 内容
    • Microsoft Deep Noise Suppression Challenge(Interspeech 2020)一式、クリーン音声・ノイズ・合成スクリプト・テストセットの寄せ集め(下の内訳参照)
  • 想定用途
    • 音声強調・ノイズ抑圧モデルの学習・評価
  • 入手元
  • ライセンス
    • 音源ごとに個別ライセンス(下記内訳を参照)
  • 件数/サイズ
    • wav計 11,277件(約10G)
  • 形式
    • wav

単一のデータセットではなく、音源ごとにライセンスが異なる複数コーパスの合成なので、要素ごとに分けて確認する

  • クリーン音声(LibriVox収録分)
    • 内容
      • 読み上げ音声、ノイズ抑圧モデルの「正解」信号用
    • 元の出所
    • ライセンス
      • パブリックドメイン
  • クリーン音声(Edinburgh 56話者)
    • 内容
      • スタジオ収録の英語音声
    • 元の出所
      • Edinburgh大学56-speaker corpus
    • ライセンス
      • 個別のカスタムライセンス
  • クリーン音声(PTDB-TUG)
    • 内容
      • ピッチ参照付き音声
    • 元の出所
      • PTDB-TUG corpus
    • ライセンス
      • ODbL
  • ノイズ(AudioSet由来)
    • 内容
      • 環境ノイズ
    • 元の出所
      • Google AudioSet
    • ライセンス
      • CC BY 4.0
  • ノイズ(Freesound由来)
    • 内容
      • 環境ノイズ
    • 元の出所
      • Freesound.org
    • ライセンス
      • CC0
  • ノイズ(DEMAND由来)
    • 内容
      • 多チャンネル環境ノイズ
    • 元の出所
      • DEMAND
    • ライセンス
      • CC BY-SA 3.0
  • リポジトリ全体のコード
    • 内容
      • ノイズ合成・SNR混合スクリプト
    • 元の出所
      • microsoft/DNS-Challenge
    • ライセンス
      • MIT

DEMAND

WHAM!

  • 内容
    • 音声分離タスク向けのノイズデータセット、「WHAM!: Extending Speech Separation to Noisy Environments」の公式データ
  • 想定用途
    • ノイズを含む環境での音声分離・音声強調モデルの学習・評価
  • 入手元
  • ライセンス
    • CC BY-NC 4.0(非商用)
  • 件数/サイズ
    • 28,273件(train 21,216・val 4,444・test 2,613)、4.31G、48kHz/2ch
  • 形式
    • Opus

AudioSet-NonSpeech

  • 内容
    • Google AudioSetから人の発話が明確に含まれるクリップを除去したサブセット、非音声の環境音・イベント音のみ
  • 想定用途
    • 非音声音響イベント分類、ノイズ拡張
  • 入手元
  • ライセンス
    • CC BY 4.0
  • 件数/サイズ
    • 13,994件(4.1G)
  • 形式
    • Parquet

MUSAN(noise)

  • 内容
    • 技術音(DTMF等)と非技術音(雷・動物・クラクション等)、計約6時間7分
  • 想定用途
    • 音声認識/話者照合のノイズ拡張(SpecAugment等)
  • 入手元
  • ライセンス
    • CC BY 4.0
  • 件数/サイズ
    • 930件(690M)
  • 形式
    • wav

speech-noise-dataset

ESC-50

  • 内容
    • 環境音分類データセット、5秒クリップ×2,000件、50クラス(各40件)
  • 想定用途
    • 環境音分類モデルのベンチマーク
  • 入手元
  • ライセンス
    • CC BY-NC(非商用)
  • 件数/サイズ
    • 2,000件(738M)
  • 形式
    • Parquet(wav埋め込み)

話者ダイアライゼーション・VAD

CALLHOME

  • 内容
    • 電話の自然会話をdiarizers-communityが話者ダイアライゼーション用に整形、中国語・英語・ドイツ語・日本語・スペイン語(原データはTalkBank)
  • 想定用途
    • 話者ダイアライゼーションモデル(pyannote等)のファインチューニング
  • 入手元
  • ライセンス
    • CC BY-NC-SA 4.0(非商用)
  • 件数/サイズ
    • 660件(11G)
  • 形式
    • Parquet

VoxConverse

  • 内容
    • 英語多人数会話(YouTube由来)をdiarizers-communityが話者ダイアライゼーション用に整形、話者ターンのタイムスタンプ・ラベル付き
  • 想定用途
    • 話者ダイアライゼーションモデルの学習・評価
  • 入手元
  • ライセンス
    • CC BY 4.0(再配布版、原本のOxford VGG版は研究専用の制限が強め)
  • 件数/サイズ
    • dev 216件・test 232件(6.8G)
  • 形式
    • Parquet

AVA-Speech(VAD向け再パッケージ)

  • 内容
    • 映画中の発話区間検出データセットをWhisperSeg向けに再パッケージ、発話の開始/終了時刻JSON付き
  • 想定用途
    • VAD(発話区間検出)モデルの学習・評価
  • 入手元
  • ライセンス
    • Apache-2.0(再パッケージ部分)
  • 件数/サイズ
    • train 158件・test 2件(4.3G)
  • 形式
    • wav + json

感情・非言語発声・声質(日本語コーパス群)

Vocal Bursts

  • 内容
    • 笑い・咳・泣き・くしゃみ・ため息・叫び・あくび等18カテゴリ、非発話の声のみのコーパス、複数の既存コーパスを寄せ集めて再パッケージしたもの
  • 想定用途
    • 非言語発声・パラ言語情報の分類研究
  • 入手元
  • ライセンス
    • CC BY 4.0
  • 件数/サイズ
    • 28,564件(3.4G)
  • 形式
    • FLAC

つくよみちゃんコーパス

  • 内容
    • フリー素材キャラクター「つくよみちゃん」(CV: 夢前黎)公式の声優統計コーパス(JVSコーパス準拠)、高音ウィスパー系の少女ボイス、100文+別途1,500文程度の追加データ、96.0kHz/24bit
  • 想定用途
    • TTS・音声変換の学習(実際にPiper-Plusのファインチューニングにも使用、前掲)
  • 入手元
  • ライセンス
    • ⚠️独自ライセンス、商用・非商用・個人法人問わず利用可だが、ソフト配布時はクレジット表記必須、再配布は原則禁止(配布ページへの誘導を推奨)、素材としての二次配布や政治・宗教勧誘等への利用は禁止
  • 件数/サイズ
    • 100文(+追加約1,500文)

ROHAN4600 ずんだもん読み上げ音声

  • 内容
    • ROHAN4600(後述の「テキストのみの台本コーパス」参照)のテキストをVOICEVOX「ずんだもん」ボイスで読み上げた音声+音素・アクセントラベル(PyOpenJTalk出力を人手で補正)
  • 想定用途
    • 日本語TTSの学習・評価、口唇同期(リップシンク)研究向けの口の動き画像・座標データも同梱される場合あり
  • 入手元
  • ライセンス
    • ⚠️音声本体は zunko.jp の研究者向け利用規約に個別に従う。ラベルは配布者により「自由に使用・改変・改変版の再配布可、利用による不利益について責任を負わない」と明記
  • 件数/サイズ
    • ROHAN4600の4,600文に対応する音声・ラベル

Takamichi研究室コーパス群

  • 内容
    • 東京大学・高道慎之介研究室が公開する日本語音声コーパス群(JVS/JVNV/PJS等)、コーパスごとに用途・ライセンスが異なる(下の内訳参照)
  • 想定用途
    • 日本語TTS・音声変換・感情音声合成の学習
  • 入手元
  • ライセンス
    • コーパスごとに異なる(下記内訳を参照)
  • 件数/サイズ
    • 合計61G前後
  • 形式
    • 主にwav(16〜48kHz)

1つのデータセットではなく、高道研(東京大学)が公開した18種類前後の別々のコーパス+外部の実験デモデータの寄せ集めなので、サブコーパスごとに分けて確認する

  • JVS
    • 内容
      • プロ声優100名の並列/非並列/ささやき/裏声読み上げ、約30時間
    • 想定用途
      • マルチスピーカーTTS・話者変換の学習
    • ライセンス
      • タグはCC BY-SA 4.0だが⚠️音声本体は非商用研究・個人利用限定・再配布不可
  • JVNV
    • 内容
      • 感情音声+非言語発声(笑い・すすり泣き)、4話者×6感情、3.94時間
    • 想定用途
      • 感情音声合成・非言語発声を含むTTSの学習
    • ライセンス
      • CC BY-SA 4.0(商用含め制限なし)
  • PJS
    • 内容
      • 音素バランス型・歌唱+朗読対応コーパス、1話者×100曲+100読み上げ、MIDI/musicXML付き
    • 想定用途
      • 歌声合成(Singing Voice Synthesis)の学習
    • ライセンス
      • CC BY-SA 4.0(商用可)
  • JVS-MuSiC
    • 内容
      • 100名の歌唱コーパス、歌手類似度/キー/テンポタグ付き
    • 想定用途
      • マルチシンガー歌声合成の学習
    • ライセンス
      • タグCC BY-SA 4.0だが⚠️音声本体は非商用・個人利用限定・再配布不可
  • CPJD
    • 内容
      • 日本各地(岡山・宮崎・大阪・石川・福井・徳島・静岡・福島・奈良・広島・青森・高知等)の方言音声、話者フォルダ名に方言名(例: F001_hiroshima_hiroshimaben)付き、ノイズ抑圧版(wav16k_norm_cleaned)も同梱、F0範囲情報付き
    • 想定用途
      • 方言音声認識・方言TTSの研究
    • ライセンス
      • 記載なし(READMEにライセンス記述なし)
  • CPJD text-only
    • 内容
      • 上記CPJDの台本(共通文)のみのテキスト版、音声なし
    • 想定用途
      • 方言横断の読み上げ台本設計の参考
    • ライセンス
      • 記載なし
  • JTubeSpeech-ASV
    • 内容
      • YouTube由来の話者照合用コーパス、1,792話者・484時間(うち日本語245時間)
    • 想定用途
      • 話者照合(Speaker Verification)モデルの学習
    • ライセンス
      • ⚠️「研究開発目的限定(暫定)」と明記、Takamichi群の中でも制限が強い
  • tri-jek
    • 内容
      • 単一の女性トリリンガル話者による日本語・英語・韓国語の朗読音声、計11時間(日2.8h/韓6.7h/英1.5h)、コロナ禍収録のためやや低品質
    • 想定用途
      • 多言語TTS・言語間の声質転移研究
    • ライセンス
      • テキストは言語ごとにCC BY(-SA) 4.0系だが⚠️音声は学術・非商用研究・個人利用限定・再配布不可(ブログ等での一部抜粋公開のみ許可)
  • Laughterscape
    • 内容
      • YouTube由来の大規模日本語「独話笑い」コーパス、6.04時間、24kHz、Demucsで雑音除去済みのdenoised/のみ収録(生データは別途問い合わせ制)
    • 想定用途
      • 笑い声合成・笑い声検出の研究
    • ライセンス
      • CC BY-SA 4.0
  • 東北地方民話コーパス
    • 内容
      • 昔話収集家が1957年から収集したオープンリール/アナログテープ由来の東北方言民話を書き起こし付きでデジタル化、16kHz wav、2話者
    • 想定用途
      • 東北方言の音声認識・音声合成、方言保存研究
    • ライセンス
      • 独自ライセンスだが比較的緩く、公序良俗に反する用途・話者を誹謗中傷する用途等を除き商用・非商用問わず音声言語の情報解析に利用可
  • JECS
    • 内容
      • 日英コードスイッチング音声コーパス、バイリンガル声優1名、通常/単語強調/感情(少量)の発話、2.5時間、24kHz
    • 想定用途
      • コードスイッチングTTS、多言語音声合成の研究
    • ライセンス
      • テキストはCC BY 3.0、⚠️音声はアカデミック・非商用研究・個人利用(ブログ含む)限定で再配布不可
  • JSSS
    • 内容
      • 単一女性話者(無響室収録)による8時間の音声、音声要約・発話スタイル平易化(やさしい日本語)・短文/長文発話のタスク別サブセット
    • 想定用途
      • TTSの音声要約・スタイル平易化研究
    • ライセンス
      • テキストはサブセットごとに異なる(CC BY-ND 2.1、非商用利用限定、CC BY-SA 4.0等)、⚠️音声はアカデミック・非商用研究・個人利用限定で再配布不可
  • JSSS-misc
    • 内容
      • JSSSと同一話者・収録環境のおまけコーパス、ささやき声・低い声・裏声・方言パラレル発話のスタイル
    • 想定用途
      • 発話スタイル(パラ言語)を変えたTTSの研究
    • ライセンス
      • テキストはJVS/JMDコーパスから引用、⚠️音声はアカデミック・非商用研究・個人利用限定で再配布不可
  • JNV(Japanese Nonverbal Vocalization corpus)
    • 内容
      • 笑い・すすり泣き・悲鳴等、感情を表す日本語の非言語発声コーパス、4話者(プロ1名含む)、420ファイル、406.9秒、48kHz
    • 想定用途
      • 感情表現を伴う非言語発声の合成・認識研究
    • ライセンス
      • CC BY-SA 4.0(商用含め制限なし、Takamichi群の中では珍しく音声も緩いライセンス)
  • JMD(熊本・大阪方言)
    • 内容
      • 音声合成研究用の日本語方言テキスト+音声、熊本弁・大阪弁のサブセット
    • 想定用途
      • 方言TTS・方言ASRの研究
    • ライセンス
      • ⚠️アカデミック・非商用研究・個人利用限定で再配布不可(全データ共通)
  • Himawari(Himawari_CSJ_sample・Himawari_meidaiの2種類)
    • 内容
      • CSJ(日本語話し言葉コーパス)サンプルと名大会話コーパスを、独自の全文検索ツール「Himawari」用のXML索引パッケージとして同梱したもの、素のwav音声集ではなく検索ツール込みの配布形式
    • 想定用途
      • 話し言葉コーパスの全文検索・談話分析
    • ライセンス
      • 記載なし(CSJ・名大会話コーパス本体は別途ライセンスあり、ここには含まれない可能性)
  • HTSデモデータ
    • 内容
      • 高道研のコーパスではなく、名古屋工業大学HTS Working Groupが配布するHMM音声合成デモ用データ(ATR503文、単一男性話者、mgc/bap/lf0等のボコーダ特徴量)
    • 想定用途
      • HTS/HMM方式の音声合成チュートリアル・デモ
    • ライセンス
      • CC BY 3.0
  • 出所不明の小規模コーパス(“EMOTION100”)
    • 内容
      • “EMOTION100"と命名された90文の日本語音声(話者コードfm44)、感情ラベルなし、READMEなし
    • 想定用途
      • 用途不明(感情音声のサンプルと推測)
    • ライセンス
      • ⚠️記載なし・出所も未特定(他コーパスよりだいぶ後の日付でダウンロードされており、高道研サイト由来か別ソースか未確認)

テキストのみの台本コーパス

音声を含まず、朗読・録音用の台本(文章リスト)だけを配布しているコーパス。上記の音声コーパス群とは違い、それ自体を読み上げて誰かが別途録音する前提のもの

ITAコーパス

  • 内容
    • 音素バランスを考慮したパブリックドメインの日本語テキストコーパス、Emotion(100文)とRecitation(324文)のサブセットで構成、音声は含まれずテキストのみ
  • 想定用途
    • TTS/ASR研究用の朗読・録音台本、音素バランス評価のベンチマーク(実際に自前のTTS学習データ生成にも使用)
  • 入手元
  • ライセンス
    • パブリックドメイン(Unlicense)
  • 件数/サイズ
    • 424文(テキストのみ)
  • 形式
    • txt

ROHAN(ROHAN4600)

  • 内容
    • モーラバランス型の日本語テキストコーパス、常用漢字と読みを全て含み低頻度モーラもカバーする4,600文、22のサブセットで構成、音声は含まれずテキストのみ
  • 想定用途
    • TTS研究用の朗読・録音台本、モーラバランス評価(実際に自前のTTS学習データ生成にも使用)
  • 入手元
  • ライセンス
    • CC0-1.0(パブリックドメイン)
  • 件数/サイズ
    • 4,600文(テキストのみ)
  • 形式
    • txt
  • 備考
    • 森勢将雅氏(明治大学)の研究成果、高道研コーパス群とは別の配布元(ローカルで同じフォルダに保存していたため混同していた)。VOICEVOX「ずんだもん」で読み上げた音声版は前掲の「感情・非言語発声・声質」を参照

ターン検出・対話制御

Smart Turn v3.2(test)

  • 内容
    • ターン検出モデル「Smart Turn v3.2」のテストセット、発話終端/フィラー等のラベル付き短い会話音声、23言語、CC0のFreesoundノイズも一部含む
  • 想定用途
    • 音声対話のターン検出(発話終端検出)モデルの評価
  • 入手元
  • ライセンス
    • 明記なし(関連コードはBSD-2-Clause)
  • 件数/サイズ
    • 31,527件(4.6G)
  • 形式
    • Parquet

Smart Turn v3.2(train)

Easy-Turn-Trainset

  • 内容
    • 発話交替検出用の大規模データセット、完全/不完全/バックチャネル/待機の4状態、テキスト転記+発話交替状態ラベル付き、合計約1,100時間
  • 想定用途
    • 全二重音声対話システムにおける堅牢な発話交替(ターン)検出モデルの学習
  • 入手元
  • ライセンス
    • Apache-2.0
  • 件数/サイズ
    • 約1,906行(97.3G)
  • 形式
    • webdataset(Parquetに変換済み)

音声合成(TTS)エンジン(ツール)

ここまではデータセットだったが、ここからは自前で音声を生成したり、VAD・ASR・感情分析に使ったツール・学習済みモデルもまとめておく

Style-Bert-VITS2

  • 内容
    • Bert-VITS2をベースにした日本語向け高品質音声合成エンジン、話者ごとにスタイル(感情等)を制御可能
  • 想定用途
    • 日本語TTS、感情表現付き音声合成、単語リスト・全二重対話音声などの自前データ生成
  • 入手元
  • ライセンス
    • AGPL-3.0 / LGPL-3.0(コード。利用する話者ボイスモデルは別途各ボイスのライセンスに従う、例: JVNVボイス利用時はCC BY-SA 4.0)
  • 備考

Qwen3-TTS

  • 内容
    • Qwenチームによる多言語TTSモデル、3秒の音声サンプルで声質クローンやスタイル指示による制御に対応
  • 想定用途
    • 音声合成、話者クローン、感情・話速をコントロールした音声生成
  • 入手元
  • ライセンス
    • Apache-2.0
  • 備考
    • 日本語を含む10言語対応、0.6B/1.7Bの2サイズ

Irodori-TTS-Server

  • 内容
    • OpenAI TTS API互換の推論サーバ、Irodori-TTS-500M-v3モデルをラップしたもの
  • 想定用途
    • 日本語ASRの弱点(パ行・促音・濁音等)を狙った音声合成データの生成
  • 入手元
  • ライセンス
    • MIT(サーバ部分)
  • 備考
    • 音声コーデック(波形の潜在表現への圧縮・復元)にはfacebook/dacvae-watermarkedを日本語音声でファインチューニングしたAratako/Semantic-DACVAE-Japanese-32dim(WavLMによる意味蒸留を導入、潜在次元128→32に圧縮)を使用

Piper-Plus

  • 内容
    • 軽量・ローカル動作のニューラルTTS「Piper」の後継フォーク、VITS+韻律制御、ストリーミング対応
  • 想定用途
    • 軽量・高速な音声合成(CPU・組み込み用途にも対応)
  • 入手元
  • ライセンス
    • MIT(オリジナルのrhasspy/piperはアーカイブ済み、後継のOHF-Voice/piper1-gplはGPL-3.0化されたため、MIT系フォークとして利用)
  • 備考

Kokoro

  • 内容
    • 8,200万パラメータの軽量TTSモデル
  • 想定用途
    • 軽量・高速な音声合成
  • 入手元
  • ライセンス
    • Apache-2.0
  • 備考
    • ⚠️推論コード・学習済み重みは公開されているが、自前でモデルを学習するための学習コードは公開されていない

VOICEVOX

  • 内容
    • 無料のテキスト読み上げ・歌声合成ソフトウェア、43話者127スタイル(2026年時点)のキャラクターボイスを収録
  • 想定用途
    • 日本語TTS、学習用の正例・hard negativeサンプルの大量合成(例: 「ヘイレオ」等の呼びかけフレーズ+紛らわしい語を全話者×全スタイルで合成)
  • 入手元
  • ライセンス
    • エンジン本体はLGPL-3.0。生成音声はクレジット表記により商用・非商用問わず利用可だが、⚠️キャラクターごとに個別の利用規約があるため使用前に要確認
  • 備考
    • Linux版はCPU/NVIDIA GPU版のランタイムが配布されている

KVoiceWalk

  • 内容
    • ランダムウォークとResemblyzer類似度等を組み合わせたスコアリングで、Kokoroのスタイルベクトル(声質)を目標音声に近づけて探索するツール
  • 想定用途
    • Kokoroの学習コードが非公開のため、既存スタイルベクトルの合成・探索によって新しい声を作る代替手段
  • 入手元
  • ライセンス
    • Apache-2.0
  • 備考
    • 探索文への過学習(未知テキストで類似度が大幅低下)や、英語声が混ざると韻律が汚染される等の限界を実際に確認済み

kokovoicelab

  • 内容
    • Kokoroの既存話者を補間・ブレンドして新しい声を作り、SQLiteデータベースで管理するツール(KVoiceWalkと同じ作者)
  • 想定用途
    • Kokoroの声を混ぜ合わせた新規ボイスの生成、生成した声のDB管理
  • 入手元
  • ライセンス
    • 記載なし(リポジトリにLICENSEファイルなし)

Qwen-Audio-3.0-TTS-Flash(参考)

  • 内容
    • Alibaba Tongyi Labが2026年7月にリリースしたホスト専用TTS API、Flash/Plusの2ティア構成
  • 想定用途
    • 低レイテンシ(初回パケット200ms以内)なリアルタイム音声対話用TTSの参考(重み非公開のためローカル・組み込み用途には使えない)
  • 入手元
  • ライセンス
    • ⚠️非OSS(ホスト専用API、DashScope経由でのみ利用可能)
  • 備考
    • 16言語対応、$15/100万文字

StyleTTS2

  • 内容
    • スタイル拡散とAdversarial Trainingを組み合わせたTTSアーキテクチャ、Kokoroのベースにもなっている
  • 想定用途
    • 高品質TTSのアーキテクチャ調査・比較検討(自前運用はせず比較対象として利用)
  • 入手元
  • ライセンス
    • MIT(コード)、ただし推論はGPLライセンスのパッケージに依存する箇所があり、学習済みモデル利用時は追加の倫理条項(合成音声である旨の告知、話者の許諾なき音声クローン利用の禁止等)に同意が必要
  • 備考
    • 検証の結果、Kokoroの日本語モデル(jf_alpha)はStyleTTS2ベースでも音素CERでSBV2(VITS2系)に劣っており、「アーキテクチャよりデータと言語別フロントエンドが効く」という結論の根拠になった

VAD・ターン検出(ツール)

Silero VAD

  • 内容
    • 事前学習済みの軽量VADモデル、30ms以上の音声チャンクを1ms未満で判定
  • 想定用途
    • 発話区間検出、無音除去、ASR前処理
  • 入手元
  • ライセンス
    • MIT

Smart Turn v2

  • 内容
    • 生の音声波形から「発話が終わったか」を判定するターン検出モデル、wav2vec2エンコーダ+線形分類ヘッド構成
  • 想定用途
    • 音声対話エージェントのターン検出、リアルタイム文字起こし
  • 入手元
  • ライセンス
    • BSD-2-Clause
  • 備考
    • 14言語対応(日本語含む)、94.8Mパラメータ

Smart Turn v3

  • 内容
    • Smart Turnの後継版、Whisper Tinyをベースにした軽量ターン検出モデル
  • 想定用途
    • CPUのみでのリアルタイムターン検出(GPU不要)
  • 入手元
  • ライセンス
    • BSD-2-Clause
  • 備考
    • 23言語対応、約8Mパラメータ、int8量子化版・fp32版あり、CPU推論12ms(最新CPU)。前掲のsmart-turn-data-v3.2-test/trainはさらに後継のv3.2系列の学習データ

UltraVAD

  • 内容
    • Llama-8Bベースの音声・対話履歴融合型エンドポイント検出モデル、発話終了トークンの確率を推定
  • 想定用途
    • 文脈を考慮したターン検出(Smart Turn v2より高精度)
  • 入手元
  • ライセンス
    • 記載なし
  • 備考
    • 26言語対応(日本語含む)、文脈依存ターン交代タスクで精度77.5%(Smart Turn v2は63.0%)、推論にVRAM約10GBを使用

MaAI(京都大学)

  • 内容
    • 会話AI・ロボット向けの軽量リアルタイム非言語行動予測ソフトウェア、VAD・ターンテイキング・バックチャネル・頷きを予測、Voice Activity Projection(VAP)モデルがベース
  • 想定用途
    • 対話システムのターンテイキング予測・相槌タイミング推定
  • 入手元
  • ライセンス
    • コードはMIT、学習済みモデルは個別ライセンス(MimiエンコーダはCC BY 4.0)
  • 備考
    • 京都大学・井上昂治氏らが開発、日本語含む複数言語対応、CPUでも動作

Sparrow-1(Tavus、参考)

  • 内容
    • リアルタイム音声・映像対話における会話タイミング制御モデル、「いつ聞き・待ち・話すか」を予測
  • 想定用途
    • 人間らしい会話タイミングを持つ音声対話エージェントの参考(自前では未使用、比較調査のみ)
  • 入手元
  • ライセンス
    • ⚠️非OSS(Tavus独自、APIを通じてのみ利用可能)

Easy-Turn

  • 内容
    • 発話交替検出モデル本体、「対話終了」「不完全な発話」「バックチャネル」「待機要求」の4状態を音声+言語情報から予測(前掲のEasy-Turn-Trainsetで学習)
  • 想定用途
    • フルデュプレックス音声対話システムでの「話す/聞く/沈黙する」タイミング判定
  • 入手元
  • ライセンス
    • Apache-2.0
  • 備考
    • モデルサイズ約850MB

ウェイクワード検出(ツール)

openWakeWord

  • 内容
    • 音声埋め込みモデル+軽量な検知ヘッドで構成されるオープンソースのウェイクワード(呼びかけ語)検出フレームワーク
  • 想定用途
    • 「ヘイ〇〇」のような呼びかけ語の検出、独自ウェイクワードの学習(埋め込みの上に自前ヘッドを追加して学習可能)
  • 入手元
  • ライセンス
    • コードはApache-2.0だが、同梱の学習済みモデルは⚠️CC BY-NC-SA 4.0(非商用、ライセンス不明なデータセットを学習に含むため)
  • 備考
    • 実プロジェクトでは埋め込み抽出器のみ利用し、その上に独自の小型MLPヘッドをBCE損失で学習する構成で使用

LiveKit WakeWord

  • 内容
    • LiveKitによるオープンソースのウェイクワード検出ライブラリ、音声対話アプリケーション向け
  • 想定用途
    • リアルタイム音声対話エージェントでの呼びかけ語検出(openWakeWordの比較対象として調査)
  • 入手元
  • ライセンス
    • Apache-2.0

ASR(音声認識ツール)

faster-whisper

  • 内容
    • OpenAI WhisperをCTranslate2で高速再実装したASR実装、精度を保ちつつ最大4倍高速化
  • 想定用途
    • 音声認識の高速推論(ローカル・バッチ処理)
  • 入手元
  • ライセンス
    • MIT

Kotoba-Whisper

  • 内容
    • ReazonSpeechで学習した日本語ASR向けの蒸留Whisperモデル、large-v3と同等の精度を保ちつつ6.3倍高速
  • 想定用途
    • 高速な日本語ASR推論
  • 入手元
  • ライセンス
    • Apache-2.0
  • 備考
    • v1.0はReazonSpeechのlargeサブセット、v2.0は全サブセットで学習、v2.2は後処理パイプライン統合版

SenseVoice

  • 内容
    • ASR・言語識別(LID)・音声感情認識(SER)・音響イベント検出(AED)を1モデルでこなす音声基盤モデル、中国語(標準語・広東語)・英語・日本語・韓国語に対応
  • 想定用途
    • 多言語ASRに加え、感情認識・音響イベント検出を同時に行いたい用途
  • 入手元
  • ライセンス

Whisper large-v3 / large / large-v3-turbo

Parakeet 0.6B ja(NVIDIA NeMo)

  • 内容
    • ReazonSpeech v2.0(3.5万時間超)で学習した日本語ASRモデル、Hybrid FastConformer TDT-CTC構成
  • 想定用途
    • 高速・高精度な日本語ASR
  • 入手元
  • ライセンス
    • CC BY 4.0
  • 備考
    • NVIDIA NeMoフレームワーク上で推論・ファインチューニング

ReazonSpeech-NeMo-v2

  • 内容
    • ReazonSpeech開発元自身が公開するNeMoベースの日本語ASRモデル(NVIDIA製Parakeetとは別に、Reazon自身が学習・配布)
  • 想定用途
    • 日本語ASR(自社データで学習した公式モデル)
  • 入手元
  • ライセンス
    • Apache-2.0

Qwen3-ASR

  • 内容
    • Qwen3-Omniをベースにした多言語ASRモデル、言語識別+音声認識に対応
  • 想定用途
    • 多言語ASR(52言語・方言)、雑音下での頑健な認識
  • 入手元
  • ライセンス
    • Apache-2.0
  • 備考
    • 0.6B/1.7Bの2サイズ、タイムスタンプ推定用のQwen3-ForcedAlignerも同系統で提供

Kaldi

  • 内容
    • 音声認識研究で長年使われてきた伝統的なASRツールキット(GMM-HMM〜DNN-HMM)
  • 想定用途
    • 音声認識モデルの学習・研究、MFA(後述)のバックエンドとしても利用
  • 入手元
  • ライセンス
    • Apache-2.0

Sherpa(sherpa-onnx)

  • 内容
    • k2-fsaによる「次世代Kaldi」ベースの音声処理フレームワーク、ASR・TTS・話者ダイアライゼーション・音声強調・VAD等をonnxruntimeでオフライン実行
  • 想定用途
    • 組み込み・オフライン環境での音声認識・音声合成・VAD等
  • 入手元
  • ライセンス
    • Apache-2.0

Julius

  • 内容
    • 京都大学・奈良先端科学技術大学院大学・名古屋工業大学が開発した日本語大語彙連続音声認識エンジン
  • 想定用途
    • 日本語ASR
  • 入手元
  • ライセンス
    • 独自ライセンス(BSD系、改変版を含め商用利用可)

ESPnet

  • 内容
    • PyTorchベースのEnd-to-End音声処理ツールキット、ASR・TTS・話者ダイアライゼーション・音声翻訳等に対応
  • 想定用途
    • End-to-Endな音声認識・音声合成モデルの学習・研究
  • 入手元
  • ライセンス
    • Apache-2.0

VOSK

  • 内容
    • Kaldiベースのオフライン音声認識ツールキット、モデルサイズが小さく(約50MB〜)、20以上の言語・方言に対応
  • 想定用途
    • オフライン・省リソース環境でのASR、ストリーミング認識、話者識別
  • 入手元
  • ライセンス
    • Apache-2.0
  • 備考
    • Python/Java/Node.js/C#/C++/Rust/Go等多言語バインディング対応、日本語モデルも配布されている

日本語HuBERT(rinna/japanese-hubert-base)

  • 内容
    • 自己教師あり学習による日本語音声表現モデル(CTCヘッド等の下流タスク層は無し、音声の生の隠れ層を出力)
  • 想定用途
    • ASRの出力に頼らず、音声の隠れ層を直接使う音韻・音響特徴の分析(例: 線形プローブでの音韻構造の分類)、下流タスクのファインチューニングのベースモデル
  • 入手元
  • ライセンス
    • Apache-2.0
  • 備考
    • 実プロジェクトでは、CTCデコード後のテキストに頼るASRよりも生の隠れ層(特に中間層)の方が音韻構造を線形分離可能な形で保持しているという知見が得られた

Forced Alignment(ツール)

Montreal Forced Aligner(MFA)

  • 内容
    • 音声と書き起こしテキストから音素単位のタイムスタンプを推定するForced Alignmentツール、日本語音響モデル+G2Pモデル(japanese_mfa)を使用
  • 想定用途
    • 音素レベルのアラインメント生成(例: 「レオ」を子音ɾ・母音e・母音oに分解)
  • 入手元
  • ライセンス
    • MIT
  • 備考
    • バージョン3.4.1で使用、内部エンジンはKaldiベース

感情分析(ツール)

luke-japanese-large-sentiment-analysis-wrime

  • 内容
    • 日本語テキストの8感情(喜び・悲しみ・期待・驚き・怒り・恐れ・嫌悪・信頼)を推定するテキスト分類モデル
  • 想定用途
    • ASRの書き起こしテキストに対する感情分析、対話ログの感情ラベリング
  • 入手元
  • ライセンス
    • MIT
  • 備考
    • ベースモデルはstudio-ousia/Luke-japanese-large-lite、WRIMEデータセットでファインチューニング、音声ではなくテキスト入力

音声透かし(ツール)

SilentCipher

  • 内容
    • 音声信号にメッセージを埋め込む音声透かし(オーディオウォーターマーキング)モデル、心理音響モデルに基づく閾値制御で人間に知覚されにくい透かしを実現
  • 想定用途
    • 生成音声への出所情報の埋め込み、音声の改ざん検知
  • 入手元
  • ライセンス
    • MIT
  • 備考
    • 16kHz/44.1kHzの音声に対応

音声データをネットから調達する方法(サイト・ツール)

配布済みのデータセットだけでなく、特定の単語・フレーズの発話サンプルが少量だけ欲しい場合は、動画・音声検索サイトから自分で音声を切り出して集める方法もある。実際に特定の単語の発話サンプルを集めるために使った方法をまとめる

単語・フレーズ検索サイト

  • 内容
    • YouTubeやアニメ・映画の字幕/文字起こしから、特定の単語やフレーズが登場する場面を検索して再生できるサイト群
  • 対象サイト
    • YouGlish(youglish.com/japanese): YouTube動画の字幕から検索語が出る場面を探し、該当箇所から再生できる、自然な会話中の発話を連続で聞くのに向く
    • Filmot(filmot.com): YouTubeの字幕・文字起こしを横断検索できる、特定の単語を含む動画を一覧で探すのに向く
    • Nadeshiko(nadeshiko.co): アニメやドラマなどの日本語セリフを音声・画像付きで検索できる
    • Immersion Kit(immersionkit.com): アニメの日本語例文を音声・画像付きで検索できる
    • Japanese Sentence Search(sentencesearch.neocities.org): ネイティブ音声付きの日本語例文を検索できる
    • Forvo(ja.forvo.com/languages/ja): ネイティブ話者による単語・短文の発音辞書
    • PlayPhrase.me(playphrase.me): 映画・ドラマのセリフを短い映像クリップで検索できる
  • ライセンス
    • ⚠️各サイトの利用規約に従う、著作物由来の音声のため個人の学習・研究目的を超える利用(再配布・商用データセット化等)は要確認

yt-dlp

  • 内容
    • YouTube等の動画・音声・字幕をダウンロードするコマンドラインツール
  • 想定用途
    • 上記サイトで見つけた動画の音声・字幕の取得、自動字幕からのキーワード検索によるデータ収集パイプラインの構築
  • 入手元
  • ライセンス
    • パブリックドメイン(Unlicense)
  • 備考
    • 実際のパイプラインでは、自動字幕(vttのみ先にチェック)→ヒットした動画のみ音声DL→前掲のfaster-whisper(large-v3)で単語タイムスタンプを特定して切り出し→再文字起こしで検証、という流れで使用した
    • 大量アクセスでbot検知に引っかかる場合は、無料プロキシリスト(iplocate/free-proxy-list等)から動作確認済みのものを経由することを検討するとよい

利用上の注意

  • TalkBank系(CALLFRIEND・CALLHOME・SAKURA)は、HF上のライセンスタグが無い、または緩く見えても、TalkBank本体は独自のGround Rules(研究利用・倫理規定への同意必須、再配布制限)に従う必要がある
  • ReazonSpeech系は「日本国著作権法第30条の4の目的に限り使用可」という日本法特有の制限が明記されており、単純なCC-BY-SAと誤解しないこと
  • MagicHubの日本語自然会話・Global Conversational Speechは商用データセットで、再配布・商用利用不可、または利用前に別途契約が必要
  • 非商用限定のものとして、CALLHOME(CC-BY-NC-SA)・ESC-50(CC-BY-NC)・JVS/JVS-MuSiC(音声は非商用研究限定)・TAU Urban Acoustic Scenes 2022(非商用研究目的限定)・WHAM!(CC BY-NC 4.0)・SeniorTalk(CC BY-NC-SA 4.0)がある
  • Genshin-Voice-Jaのようにゲーム等の著作物由来のキャラクターボイスは、配布元にライセンス記載がなくても元コンテンツの著作権・商標が別途及ぶ可能性があるので特に注意
  • 1つのデータセット名の下に複数コーパスが混在しているもの(DNS-Challenge、Takamichi研究室コーパス群)は、まとめて1つのライセンスとして扱わず個別コーパス・ファイル単位で確認すること
  • ライセンス「記載なし」のものは、再配布・公開前に必ず一次配布元を確認すること

まとめ

  • 音声認識・音声合成・話者ダイアライゼーション・ターン検出・環境音分類など、用途別に無料で使える音声・音響データセットをカタログ化した
  • あわせて、自前で音声生成やVAD・ASR・感情分析に使ったツール・学習済みモデル、特定の単語・フレーズをネットから自分で集める方法もまとめた
  • CC0やCC BYなど素直に使えるものが多い一方で、TalkBank系や日本国著作権法30条の4限定のものなど、「無料公開」に見えて実は利用条件が細かく決まっているデータセットも少なくない
  • 「記載なし」のライセンスは自由利用の許可ではないので、使う前に一次配布元を必ず確認する
  • 新しく良いデータセット・ツールを見つけたら随時追記していく
  • まあ、色々と使ったものだ、20TBぐらいのHDDが結構満パンになってしまった
© 2020 - 2026 mike
Built with Hugo
テーマ Stack は Jimmy によって設計されています。