Snapは、現実をどこまでインターフェースにするのか

どんな発明？

この特許は、ARメガネのGUIを腕時計の位置へ固定する発明です。FIG. 15では、利用者が腕時計を見ると、その周囲にカメラや車などの3D項目を含むランチャーが現れる例が描かれています。

空中のどこにでもメニューを浮かべるのではなく、現実にある腕時計を基準点にします。利用者は手首を持ち上げるという慣れた動作で、ARのメニューを呼び出せます。

どんな発明？

「Gesture control on an eyewear device」は、ARメガネが利用者の手を捉え、ジェスチャーを仮想コンテンツの操作へ変換する発明です。FIG. 7では、視界内の表示と手指の操作関係がひとつの画面で示されています。

手にコントローラーを持たせる代わりに、指の位置や動き自体を入力として扱います。見るための装置と操作するための装置を分けず、視界の中でそのまま触る方向へ寄せています。

どんな発明？

共有ARでは、二台のメガネが「同じ場所」を同じ座標として理解する必要があります。この特許では、二人の利用者が指先を触れ合わせ、その手や関節位置を両方の装置から見える共通マーカーとして使います。

FIGS. 5B–5Cでは、向かい合った二人が手を伸ばし、指先の接触と手の関節を位置合わせへ利用する様子が描かれています。専用マーカーを床や壁へ置かず、人の身体で座標を共有します。

どんな発明？

この特許では、スマートフォンなどの物理端末を「仮想の筆」として扱い、その動きをARメガネが追跡して3D空間へ線や形を描きます。FIG. 8Aでは、視界内に立体的な箱と色分けされた辺が表示されています。

平面のタッチ画面へ絵を描くのではなく、端末の位置と姿勢をそのまま3D入力へ使います。筆先が画面の表面から空間へ出ていきます。

どんな発明？

「Augmented reality with eyewear triggered IoT」は、メガネが場所や姿勢を把握し、周囲のIoT機器へ指示を出してAR体験と連動させる発明です。FIG. 9Bでは、利用者の前方へ投影された太陽のような像と、その方向へ重なるAR表現が描かれています。

明細書では、頭の向きに合わせてプロジェクターの表示位置を変えたり、方向を変えられる送風機を連動させたりする例も説明されています。メガネの中だけで完結せず、部屋の機械そのものが出力装置になります。

どんな発明？

この特許は、ARメガネが周囲の空間から目的地や対象物を特定し、その方向から聞こえるような立体音響を出して利用者を誘導します。FIGS. 6A–6Bでは、部屋の中の複数の対象と利用者の位置関係が描かれています。

視界へ矢印を出し続けなくても、音源の方向を変えれば「こちらへ進む」を伝えられます。インターフェースが目の前の表示から耳の周囲へ広がります。

どんな発明？

「Virtual clothing try-on」は、人物の画像や映像へ衣服を重ねて見せる発明です。FIG. 8では、スマートフォン上の人物へ服が合成され、下部に並んだ候補から別の衣服へ切り替えられる画面が示されています。

ECの商品画像を眺めるだけでなく、自分の身体を試着面にします。衣服という現実の物体を買う前に、見た目だけを先にデジタル側で交換できます。

どんな発明？

「Augmented reality eyewear with x-ray effect」は、利用者から直接見えない対象を外部のカメラやセンサー情報から取得し、遮蔽物の位置に合わせてAR表示する発明です。FIG. 8Aでは、壁を挟んだ二人の利用者と、見えない側を補う表示関係が描かれています。

本当に壁を透過して撮影するのではありません。別の視点で得た情報を空間の位置へ合わせることで、「そこに何がいるか」を透視したように見せます。

どんな発明？

「Magnified overlays correlated with virtual markers」は、現実空間の対象へ仮想マーカーを置き、それと対応した拡大像をARメガネの視界へ表示する発明です。FIG. 8Aでは、細かな作業対象を拡大して確認する用途が描かれています。

頭を近づけたり手持ちのルーペを使ったりせず、必要な部分だけを別倍率で視界へ重ねます。現実の対象と、その拡大ビューを同時に見られるようにします。

どんな発明？

「AR/VR enabled contact lens」は、コンタクトレンズへ光学要素や表示系を組み込み、通常の視界、AR、VRに相当する状態を切り替える発明です。FIG. 8では、目の表面に置かれたレンズと内部の光路が大きく描かれています。

メガネ型端末でさえ顔の前にある「機械」ですが、コンタクトレンズまで小さくなると、表示装置と目の境界はさらに曖昧になります。