新着情報 テーマカテゴリ 全カテゴリバイオテクノロジー医学・薬学農林水産・食品環境・エネルギー素材機械情報・通信エレクトロニクス航空・宇宙大気・海洋経済・経営・政策・法律土木・建築社会・文化・教育基礎科学 ごあいさつ ご利用にあたり 検索方法 プライバシーポリシー ご意見・ご質問 実例集 見つからない場合は? DUCRホームページへ トップページ geta_logo
print
印刷時に縮小されてしまう場合などにご利用ください。

整理番号 7204   (公開日 2016年08月24日) (カテゴリ 機械情報・通信エレクトロニクス
画像キャプションの自動生成等視覚知能に関する研究
●内容 この研究室では、画像内容を認識して自然言語で表現する、画像キャプションの自動生成に関する研究を行っている。

正確なキャプション自動生成に必要な、画像にある個別なコンテンツの認識技術と、コンテンツの関係性を理解する技術、そしてその両方を言語に落とす自然言語処理技術に関する研究が揃っている。なお、入力側が単なる静止画像だけでなく、動画像あるいは画像系以外のセンサーからの入力を利用することも視野に入れてある。

図1は画像キャプションを自動で生成をした一例。また、キャプションの正確さを高めるために図2のように、Webから収集したデータを大規模に利用することも可能である。1K(1000枚)の画像を学習しただけではうまくキャプショニングできないような場合でも、1M(100,000枚)の画像を学習すればかなり正確なキャプションが生成できるようになる例である。

画像キャプション自動生成の利用例として、柔軟な自然言語クエリによる写真やビデオの検索エンジン、視覚障碍者用のアシストシステムなどが考えられる。以上のように、この研究室では「視覚×言語」の知能に係る広範囲な研究をしているので、これに興味を持つ学生、研究者、企業からのアプローチを期待する。
●研究者
講師 牛久 祥孝
大学院情報理工学系研究科 知能機械情報学専攻
●画像


クリックで拡大

キャプション自動生成例1
(C) 牛久祥孝

キャプション自動生成例2
(C) 牛久祥孝
mail
上記内容は、各研究者へのインタビューをもとに東京大学 産学協創推進本部で骨子をまとめたものです。
本件に関する共同研究等のお問い合わせは、左のバナーをクリックしてください。スタッフがお問い合わせをお受けいたします。