我々の研究室の共通する概念として「ソーシャルテレプレゼンス」があります。遠隔地にいる人が、あたかもこちら側の空間に一緒にいるという感覚のことです。ソーシャルテレプレゼンスを生み出す技術として、最も一般的なのはビデオチャットです。ディスプレイに遠隔地の人を等身大で、最近だと4Kの高解像度で映し出すことで、より目の前にいるように感じることがわかっています。

ところがこういったディスプレイに映し出された映像は平面なので、ガラス越しに相手と会話しているような感覚で、まだまだ同じ部屋にいるという感覚ではありません。そこで、我々の研究室では、相手の体の一部だけでも飛び出させることで、お互い同じ空間にいる感覚になるのではないかと考えて研究しています。このディスプレイの下から出ているのは握手用のロボットハンドです。では、みなさん、あいさつをしながら握手をしてみてください。

まるで人の手のようで驚いたのではないでしょうか。このロボットハンドはこの研究のために開発したもので、人の手のような柔らかさと温度、握力を再現しています。また、映像上の腕の位置とロボットハンドの位置が合っていた方が相手の手であるように感じられると考え、画面の下から相手が手を出しているようなデザインにしました。握手用のロボットハンドを通して遠隔地の人と握手することによって、相手が目の前にいるような感覚、つまりソーシャルテレプレゼンスが強化されることが実験からわかっています。

ロボットハンドの仕組みを見てもらいましょう。このクーラーボックスがコントロールボックスになっています。クーラーボックスを使っているのは、モータなどの駆動音が漏れるとソーシャルテレプレゼンスが損なわれるからで、防音のためです。このワイヤは指を動かすためのものです。各指の先端で固定されたワイヤが指の上下に1本ずつ通っており、モータで上のワイヤを引っ張ると指が伸び、下のワイヤを引っ張ると指が曲がる構造になっています。

次に見てもらうのは、ディスプレイに映っていた相手の人がつけていた、手の動きをロボットハンドに伝えるためのセンサユニットです。手袋の各指には曲げセンサが仕込まれていて、各指の曲げ角度がコントロールボックスを通じてロボットハンドに伝わるようになっています。握手したタイミングでギュッと握られるのは、会話をしながら相手が手を握っているからで、こうしたタイミングもソーシャルテレプレゼンスの強化には重要です。

では、次の実験装置をご説明します。これは、先ほどの装置と同じく、遠隔地の人の体の一部をこちらの空間に飛び出させています。先ほどのロボットハンドは身体接触を再現していましたが、こんなふうに単に相手の体が飛び出しているだけでも目の前にいるような感じになるのではないかという検証を行っているところです。

このロボットハンドの役割は「指差し」です。ここに3つのぬいぐるみがあるので、相手に呼びかけて好きな動物を指さしてもらってください。ロボットハンドが左右に動いて指さしてくれます。左右に動く際、腕が伸び縮みしているのに気がつきましたか。腕の動きは肩を中心とした円運動なので、画面から飛び出している腕の長さは真ん中に行くほど長くなります。この現象を再現しているんです。

もう1つ、ソーシャルテレプレゼンスを強化するために大切な要素は、ディスプレイの中の人と飛び出しているロボットハンドに一体感があることです。そのために着ているシャツとロボットハンドの袖を揃え、相手の腕の肌色部分をクロマキー合成で消し、ロボットハンドにつながって見えるようにデザインしています。この一体感によって、相手との距離感が近くなることが最近わかってきました。

では3つめの装置です。これは、遠隔地の人と隣り合ってベンチに腰掛け、鏡越しに会話をしているという設定の実験装置です。ディスプレイは鏡の役割なので、左右反転して映るようになっています。さあ、座ってみてください。並んで座っている設定なので、ディスプレイには2人が合成されて映っています。では実験を始めますよ。相手が立ち上がります。「あっ!」ベンチがガタッと傾いたのがわかりましたね。あたかも隣に座った人が立ち上がったように感じたのではないでしょうか。

遠隔地の人の動作に合わせて、こちら側の物体が動くと、隣に人がいるような感覚になるのではないかという仮説でこのベンチを作りました。足が1本短いベンチで隣に人が座るとガタつきを感じるという設定で電磁石によって瞬時に傾くようになっています。正面の鏡と相まって、本当に隣に人がいるような気がしませんでしたか。今日、紹介させてもらったのは、映像技術とロボット技術を組み合わることにより、近くに人がいると身体的に感じることができるという実験です。ソーシャルテレプレゼンスの可能性や面白さを感じてもらえたらうれしいです。