実物のペンで書いた絵をデジタル化するデバイス

アナログで描いた絵をデジタル化するデバイスとして液晶タブレットやペンタブレットがよく利用される． これらは紙に描くような感覚で扱えるのが特徴であるが，あくまでも専用の媒体とペンが必要である． そこで我々は既存のペンに外付けできるデバイスで，紙に描いた絵や文字をそのままディスプレイに 表示できるものを作成した．

廃棄予定のマウスからトラッキングセンサを取り出し，Arduinoでセンサをハックしてペン先の座標を取得する． 精度はいまひとつだったため字は厳しいものの，イラストは何が描かれているのかわかるものが作成できた． 追加機能として，心理学のテストの手法であるバウム・テストを組み込んだ．

複数の自律移動ロボットによる音源定位機能の向上

スマートフォンやスマートスピーカーに代表される音声アシスタント機能や，企業への問い合わせを受け付けるチャットボットなどは対話情報を元に機械学習された結果を有効活用している．今後，対話型のインタフェースがより複雑な対話でも柔軟に対応できるようになるためには，学習データとなる日常会話をより多く収集する必要がある．このような学習データはなるべく自然なものが望ましい．そのため，我々は生活空間を共有する掃除ロボットやペットロボットのような自律移動ロボットが対話の収集に適していると考えた．

本研究では自律移動ロボットが屋内を巡回する生活環境下で，できるだけ多くの日常会話を音声・動画データとして取得するシステムの開発を目指した．我々のシステムでは自律的に移動できる複数のロボットが状況に応じた対話情報の取得を行うことが特徴である．

環境音から生活行動を推定

人間の行動を認識・把握することは,医療から防犯まで,広い分野で有用であることが実証されている. 例えば,自宅にいる高齢者をカメラによって監視することで,介護施設や老人ホームへの転居をすることなく, 安心して住み慣れた場所で過ごすことが出来る.従来,このような人物行動監視にはカメラが利用されるが, プライバシーが侵害されることを恐れ,私的な空間にカメラを設置されることを拒む人も少なくない. 一方,機械の動作や人が行動する際に付随する環境音は,人間が置かれた環境や場面を理解するうえで重要な手がかりになることが多くある. そこで我々は,音による人間の日常生活動作の推定を目的に,機械学習手法を用いて研究を行っている.