宮森 恒

MIYAMORI HISASHI
情報理工学部 情報理工学科 教授
学位
博士(工学)
専門分野
マルチメディアデータ工学、マルチモーダルAI

研究テーマ

人に寄り添うマルチモーダルAIに関する研究

高校生に向けた研究内容の紹介

本研究では、AIが文章だけでなく、画像や表などのデータも人間のように深く理解し活用できるようにする技術を目指しています。例えば、SNSの投稿内容の真偽を調べる際、信頼度の高い統計データや図表を参考にし、その内容と投稿が矛盾していないか確認できるようにします。また、結果をより理解しやすい形で視覚化・要約し、人が的確に判断しやすくする工夫も行います。こうした技術により、AIが私たちの生活でより頼れる存在になることを目指しています。

人間とコンピュータがより正確に対話する
「連想対話モデル」の開発

人間とロボットが対話できるシステムなど、高性能なシステムが次々と開発されています。一見、人間以上に賢い処理をしてくれているように見えますが、言葉や映像を人間のように理解できているかというと、まだ遠く及ばないのが現状です。例えば、「蜘蛛の足は何本ですか?」という質問に対して、「3本」と答えてしまうのが従来のシステム。人間のように、蜘蛛を頭の中で視覚的にイメージして、「8本」と答えることができないのです。それを解決するのが、私たちが開発に取り組んでいる「連想対話モデル」です。これは、発話文に対して視覚的なイメージをコンピュータに連想させることで、従来よりも正確な応答を行うシステム。蜘蛛の映像と文の情報との対応関係を数値化して学習し、文から映像をイメージするしくみを取り入れることで、正確な応答文を導き出します。人工知能が発達し、人間とロボットが共存する社会になりつつある中で、両者のコミュニケーションの促進に貢献できると考えています。

メッセージ

人間と会話できるロボットや、質問に応答するWebサービスには、まだ多くの課題が残っています。この研究室では、「マルチメディアデータ理解」をテーマに、言葉や映像の内容を、コンピュータが人間と同じように理解する方法と、それによる新しい付加価値を持つ応用システムの研究を行っています。機械学習に興味がある人や、新しいものをつくってみたいと思う人は、ぜひ研究室の扉を叩いてほしいと思います

蜘蛛が動いている動画と、蜘蛛の文の意味を数値化。文から映像を連想するシステムを取り入れます。

グラフ構造を使ったシステムを構築。キーワードの相関を明らかにすることで、より具体的な文章表現が可能になります。

ゼミナール/研究室のテーマ

メディア知能~人に寄り添うAI応用

言葉や画像などのメディア情報を、コンピュータやロボットが人間と同じように読み解き、その内容や理由を人間に説明する技術や、それを質問応答や対話システムなどへと発展させた、新しい付加価値をもつ応用システムの研究を行っています。ニューラルネットワークに基づく多様なモデルを駆使し、基礎から応用までさまざまな課題に取り組んでいます。

ゼミ/卒業研究の紹介

特別研究では、AIが画像や文章など多様なデータを理解・生成する技術を学びます。各自が自分のテーマを決め、大規模なモデルやデータセットをAI用スーパーコンピュータ等を使って学習・分析し、学会発表を目指します。研究を進める中で計画立案やデータ収集、実験を行い、粘り強く発表までやり遂げる経験は、卒業後の仕事でも大きな自信になります。仲間とともに新しい課題に取り組み、解決策を見つけ出す充実感と達成感を味わえる環境が魅力です。

プロフィール

私は横浜出身で、中・高校生時代は父の転勤で大阪で過ごしました。浜っ子にとって、関西弁と笑いの文化の壁は厚く、色々な洗礼を受けましたが、今ではすっかりバイリンガル、関西人(のつもり)です。休日は、世界中の憧れの京都で、歴史や文化を肌で感じるべく、京都の年中行事を探しては家族で参加しています。趣味はたまのピアノ演奏やテニスで、本学神山交響楽団のコンサートは毎回楽しみにしています!

高校生へのメッセージ

大学では、目標をもって勉強する人としない人とで、卒業後の人生に大きな差が生まれます。情報工学に興味のある方は、「こんなアプリがほしい!」「このシステムが完成したら絶対面白い!」など、ドキドキ、ワクワクするような目標をしっかりと持ち、それを自分で作り出す喜びを、ぜひ味わって欲しいです。研究は地味な作業も多く、忍耐も必要ですが、新しい知識やスキルを身に付けた時の喜びの積み重ねが、大きな自信につながります。「失敗しても粘り強く、常に進化し続けられる力を身に付ける!」そんな大学生活を送ってほしいと願います。