顔も筋肉も入力装置に。Metaの特許が描く新しい操作

どんな発明？

「Reverse pass-through glasses」は、ヘッドセットで隠れた利用者の顔を内側のカメラなどから再構成し、外側のディスプレイへ表示する発明です。FIG. 1Aと1Bでは、ヘッドセット自体と、正面の人から見た装着者の顔表示が描かれています。

普通のVRヘッドセットは、装着した瞬間に利用者の目や表情を周囲から隠します。この案では、隠した顔をもう一度計算で作り、見る角度に応じて自然に見える立体表示として外へ返します。

どんな発明？

「Haptic actuators and related wearable devices」は、グローブなどのウェアラブルへ薄型のハプティックアクチュエーターを配置する発明です。FIG. 3では手袋全体、指先の断面、アクチュエーター単体までが一枚にまとめられています。

VRでは手の位置を追跡できても、何かを握った瞬間に本物の物体が止めてくれるわけではありません。指先や手のひらへ力を返す仕組みを加えることで、空中にしかない物体へ触覚上の境界を作ろうとします。

どんな発明？

この特許は、手首の周囲へ複数のセンサーを並べ、筋肉を伝わる電気信号から手や指の動きを推定するウェアラブルを扱います。FIG. 1では、ポッド状のセンサーが輪になったリストバンドが描かれています。

カメラで指先を見る方式では、指が隠れたり視野の外へ出たりすると追跡できません。筋電図なら、動作が外からはほとんど見えない段階でも、筋肉が出した信号を入力として扱えます。

どんな発明？

「Tracking facial expressions using ultrasound and millimeter waves」は、ヘッドセットに配置したトランスデューサーで顔の一部へ超音波やミリ波を送り、反射信号から表情を推定する発明です。FIG. 2では、顔の周囲へ複数のセンサーを配置したヘッドセット構成が示されています。

顔追跡は一般にカメラを使えますが、視線が遮られたり、髭や装置自体で顔の一部が見えなかったりします。この案は、顔を「見る」のではなく、距離や反射の変化として読むことで表情を取り出そうとします。

どんな発明？

「Predicting lower body movement for avatars」は、ヘッドセットから得られる姿勢やセンサー情報を使い、見えにくい下半身の動きを推定する発明です。FIG. 4では、座る・立つといった利用者の状態と、それに対応する下半身モデルが並びます。

頭に付いたカメラは、足元を常に正確に見られるわけではありません。そこで床までの高さ、見えた膝や足、慣性センサーなど複数の手掛かりを学習モデルへ渡し、「今の脚はこうなっているはずだ」というもっともらしい姿勢を作ります。

どんな発明？

「Physical keyboard tracking」は、ヘッドセットのカメラ映像から現実のキーボードを見つけ、その位置・姿勢を推定して仮想空間のモデルと一致させる発明です。FIG. 7では、物理キーボードと仮想モデルの対応関係が示されています。

VRで仕事をしようとすると、手元のキーボードだけは現実に残ります。全部を仮想キーボードへ置き換えるのではなく、使い慣れた本物を認識し、VR側がその場所へ合わせることで両方をつなぎます。

どんな発明？

「Partial Passthrough in Virtual Reality」は、VRを全面的に解除する代わりに、必要な現実だけを部分的に表示する発明です。FIG. 6では手の周囲にハロー状の実写領域が開き、近くにある現実のカップまでVRの中から見えます。

何かを取るたびにヘッドセットを外したり、VR全体を現実映像へ切り替えたりすると没入は途切れます。この案では、手が現実の物へ近づいたときだけ、その周囲を小さな窓として戻します。

どんな発明？

「Varifocal display with actuated reflectors」は、ヘッドセット内の光学要素を動かし、表示の焦点状態を変える可変焦点システムです。FIG. 4には、HMD、視線追跡、焦点予測、varifocal blockなどがひとつの系として描かれています。

VRでは左右の目は仮想物体へ寄り目できますが、ディスプレイ自体の物理的な焦点距離は固定されがちです。目が「近くを見ている」と判断する情報と、実際にピントを合わせる距離が食い違う問題を、光学系側まで動かして減らそうとします。

どんな発明？

「Gesture-based control system」は、複数カメラから手の形と位置を推定し、ジェスチャーをコンピューター入力へ変換する発明です。FIG. 4では、ディスプレイの前に立つ利用者の手を上部のカメラで追う構成が描かれています。

従来のモーション入力では特殊なグローブやマーカーを装着する方法もあります。この発明は画像から手指の3D姿勢を推定し、何も持たない手をそのまま操作装置にしようとします。

どんな発明？

「In-ear electrodes for AR/VR applications and devices」は、耳道に入るデバイスへ電極やマイクを組み込み、身体の電気信号や音響信号を取得する発明です。FIG. 1ではARヘッドセットとin-ear monitorが連携し、利用者の健康状態を評価する構成が描かれています。

明細書では脳活動のEEG、心活動のECG、眼球運動に関わるEOGなども対象になります。イヤホンが音を出すだけでなく、耳の中を生体センサーの安定した接点として使う発想です。