研究テーマ

　藤江研究室では，コミュニケーション・ロボットの研究を行っています．コミュニケーションに必要な情報処理（音声認識・合成，画像処理，言語処理）の基礎技術や，ロボットのハードウェアや動作生成から，コミュニケーション能力の応用まで，様々なテーマを扱っています．従来の研究成果については研究紹介も見て下さい．

プロジェクト

　藤江研ではいくつかのプロジェクトがあります．これらに関する課題を研究テーマとすることが推奨されます．

1. 音声インタラクションにおける円滑性の客観評価指標の構築
（文部科学省 科学研究費 基盤研究（C））

　2025年度から新規に始まるプロジェクトです．人と人，人とシステムが音声で会話をする際に感じる円滑性（平たく言えば話しやすさ／話しにくさ）を感じるか，を明らかにしようとするものです．人と人，人と機械（ロボットなど）との会話データを収録，分析して（人の主観によらない）客観的な指標を構築することを目指します．

2. 対話システムライブコンペティション

　対話システムライブコンペティションは，人と対話をするシステムの様子を評価し，競い合うものです．人工知能学会 言語・音声理解と対話処理研究会が主催となり毎年開催されています．2024年度は第7回が開催されました．藤江研は第5回（2022年度）から参加をしていますが，第7回ではシチュエーショントラックで優秀賞（第3位）の成績を収めました．2025年度も開催される場合は参加する予定です．
　詳しくはこちらの投稿を参照してください．

3. 傾聴対話ロボット

　傾聴とは「人の話を聞く」という行為です．こう聞くと簡単なことのように感じますが，実際には話に合わせて適切な質問をしなければならないなど，高度な会話のテクニックが必要となります（突然，見ず知らずの人の話を聞いてあげることを想像してみてください）．特に高齢者の話し相手をすることは，認知症の抑止や進行の抑制のためにも必要な行為とされています．この傾聴を行うことのできロボットの開発を継続的に行っています．

4. マルチモーダル対話システム

　マルチモーダル対話システムとは，音声（聴覚）や画像（視覚）など，複数の情報を用いて対話をするシステムを指します．対してチャットのようにテキスト（文字）だけでやり取りをするシステムは非マルチモーダル対話システムです．音声や画像を使うとなると，テキストだけでは出てこなかったさまざまな問題が発生します．特に，いつ喋り始めるか，いつまで相手の話を聞くべきか，などの時間の概念が出てくることが大きな問題です．これらに適切に対処できる対話システムは，実はまだできていません．これを実現するためのプラットフォームの開発を継続的に行っています．特に2025年度は，既存のフレームワークである Remdis や ROS などの利用，強化を行っていこうと考えています．

2024年度の3年生の研究テーマ

　2024年度，藤江研では11名の3年生が設計製作論実習4・5の発表をしました．テーマは以下の通りです．

• 音声グループ
  • 音声対話システムのための音声感情認識に関する研究
  • 音声合成のための機械翻訳モデルによるアクセント推定
• 画像グループ
  • 発話音声に基づくエージェントのジェスチャ生成に関する研究
  • 動画生成によるデータ拡張を用いた物体検出に関する研究
  • Action Unitの強度推定に基づく顔表情認識に関する研究
• 言語グループ
  • 観光地案内エージェントにおけるユーザ発話理解に関する研究
  • 音声で伝達するのに適したニュース文の表現変換に関する研究
  • 大規模言語モデルを活用したニュース記事の要約に関する研究
• システムグループ
  • エージェントの形状による音声対話に対する印象変化に関する研究
  • 友人の愚痴を聴き決断の後押しをする音声対話システムに関する研究
  • 傾聴対話ロボットの応答における発話内容と動作コマンド生成に関する研究

テーマの決め方

　上記のプロジェクトを軸に，会話ロボット（対話システム，音声や画像を利用したパターン認識，言語処理など）に関するテーマを藤江と面談した上で決めます．学生本人が持ち込んだテーマに決めることもあります．また，研究室横断，あるいは学科横断，更には学外のプロジェクトへ参加するといった形の決め方もあります．
　実際に動くデモシステムの構築を行うことに意欲がある人を歓迎します（最近は要素技術のことをやっていることが多くて動くシステムが作れていません）．個人ごとの研究は分野（音声，言語，画像，システム）別のグループを構成し，情報交換をしながら進めていきます．

研究の進め方

　基本的には各自で進めてもらいますが，多くの場合は関連する研究テーマを持つ先輩・同輩と情報交換をしながら進めていくことになります．進捗状況は研究室のメンバー全員で共有し，メンバー同士で積極的に補い合いながら進めていくことになります．

キーワード

　藤江研究室での研究は，以下のようなキーワードに関係するものが主なものとなります．これらに関する参考書は，基礎的なものから応用的なものまで，研究室内に取り揃えてあります．

• 対話システム，会話ロボット
• 音声信号処理，音声認識
• 画像処理，コンピュータビジョン
• 自然言語処理，知識処理
• ネットワークプログラミング，データ処理
• 感性情報処理
• パターン認識，機械学習
• 確率・統計，多変量解析，情報理論

研究室の環境

スペース

　大学院生・4年生に1人1台のデスクがあります．3年生は空きデスクか共有テーブル（十数名座れます）を利用しています．

計算機環境

　主に機械学習を行うためにGPU搭載の計算機が複数台あります．また，機械学習に利用するデータを保存するためのNASも複数台あります．これらに各個人のPCからリモートで接続して作業を行うことになります．
　この他，デモで利用する計算機（デスクトップやノートPC）が取り揃えられています．

研究室での活動

普段の活動

基本的には個人のペースで，それぞれのテーマに関する研究を進めていくことになります．テーマに応じて必要な環境（コンピュータやその他の機材など）は異なります．必要に応じて環境を整えることもします．

ゼミ

週に一度，全員で集まって発表や議論などを行います．時期によって内容は異なります．2022年度に実施した主な内容は以下の通りです．

• 学生が研究に関する基礎的なトピックについて調査して発表（4〜6月）
• 4年生の研究中間報告・3年生のポスター発表練習（7月）
• 4年生・大学院生の発表練習（9月）
• 研究進捗状況の共有・話題提供など（10〜12月）

これとは別に個別，またはチーム単位で研究の進捗状況確認を定期的に行います．

イベント

夏合宿

2019年度以前は毎年夏に合宿を行っていました．コロナ禍を経て2023年度に再開しました．