Microsoftの特許で読む、身体と空間のインターフェース

どんな発明？

「Smart ring」は、指輪にセンサーを持たせ、装着した指の屈曲や回転に対応する信号を取得する発明です。FIG. 1では、同じring 110を着けた指の異なる姿勢と、それに応じてtablet 112上の表示が変わる例が並びます。

特許は、指そのものを小さなジョイスティックのように扱うだけでなく、別の指や物体との接触と組み合わせた入力も想定しています。画面に触れる場所を増やすのではなく、画面の外にある指の形を操作語彙へ加えます。

どんな発明？

「Recognizing gestures from forearm EMG signals」は、前腕に配置した複数の電極から筋電、EMGのサンプルを取り、機械学習で手や指のジェスチャーを認識する発明です。FIG. 1では、複数のsensor 102を持つband 100が前腕を囲んでいます。

指が動けば、その動きを生む筋肉の活動は腕の中で先に起きます。特許はその信号パターンを学習し、個々の指の動きや手の姿勢などへ分類します。カメラの視野に手を入れなくても、身体内部の電気信号を操作入力にできます。

どんな発明？

「Haptic feedback system」は、ウェアラブル内部のfluidic channelへ粘度を調整できる流体を入れ、外部から与える場を変えて流体の粘度を切り替える発明です。FIG. 1ではHMDを着けた利用者が、グローブを装着した両手でボールを持つ例が描かれています。

流体が動きやすい状態なら手を曲げやすく、粘度を上げれば変形へ抵抗を作れます。仮想空間で硬い物体へ触れた瞬間にグローブ側の抵抗を増やせば、振動だけではなく「それ以上動かしにくい」という感覚を返せます。

どんな発明？

「Holographic keyboard display」は、利用者の手の深度情報を取り、その手を表すholographic hand imageとkeyboard hologramを表示する発明です。FIG. 3では、実際の右手は身体の横へ下げたままなのに、表示上のhand imageはkeyboardの上へ持ち上げられています。

キーボードは実際の手の位置へそのまま貼り付くのではなく、仮想手の下へ一定の距離で適応的に配置できます。利用者が姿勢を変えたり手が少し動いたりしても、仮想空間内では「キーを押しやすい手とキーボード」の関係を維持しようとします。

どんな発明？

「Presenting augmented reality display data in physical presentation environments」は、物理的なpresentation environmentのどこへAR表示を置くかというconfigurationを作り、その場所へ複数の情報オブジェクトを割り当てる発明です。FIG. 3では、壁面、棚、キャビネットの周囲へ数字やグラフなどが分散して配置されています。

表示は単に巨大な一枚の仮想スクリーンではありません。部屋の形や利用できる位置、過去の配置、好みなどを使い、情報ごとに表示場所を決められます。プレゼンテーションのレイアウト対象がスライドから物理空間へ拡張されます。

どんな発明？

「Mobile Haptic Robots」は、HapticBotと呼ぶ複数の小型ロボットを表面上で移動させ、仮想物体に対応する物理的な触覚面を作る発明です。FIG. 1Cでは、HMDを着けた利用者の前のtable 102上に複数のHapticBotが並び、視界にはcartonやglassのvirtual imageが見えています。

各ロボットは必要な場所へ移動するだけでなく、上面の高さや傾きを変えられる構成も説明されています。仮想の箱を触ろうとする手の下へロボットが先回りしていれば、空中にしかない映像へ現実の接触面を与えられます。

どんな発明？

「Game controller with removable magnetic button」は、ゲームコントローラー側のbutton-retention featureと交換部品との磁気的な吸引を使って、選択したbutton accessoryを着脱できる発明です。FIG. 1には、複数の操作部を備えたコントローラーの基本構成が描かれています。

狙いはソフトウェアでボタン割り当てを変えるだけではなく、指が実際に触れる部品の形まで交換することです。異なる形状のアクセサリーを同じ入力センサーへ取り付けられれば、ゲームや好みに合わせて物理的な操作感を組み替えられます。

どんな発明？

「Artificial intelligence assisted wearable」は、マイクやカメラを持つバックパック型のウェアラブルが、利用者のcontextual voice commandと周囲の環境を組み合わせて処理する発明です。FIG. 3Bではスキーヤーが進む方向について尋ね、バックパックが「その方向はコース外」と返しています。

音声命令だけで対象を特定しなくてもよいことが重要です。「あれ」「そっち」のような文脈依存の指示を、カメラなどで見えている環境とAIで解釈します。デジタルアシスタントがポケットの端末ではなく、周囲を一緒に見ている装備になります。

どんな発明？

「Near-eye display systems utilizing an array of projectors」は、複数のprojectorを並べ、そのimage lightをwaveguideのinput couplerへ入れるnear-eye displayです。FIG. 1ではcontroller 100からprojector array 102へ信号が渡り、光がwaveguide 108内を反射しながら進んでeye 120側へ出ていく構成が示されています。

一つの大きな光源から映像を作るのではなく、小型プロジェクターのarrayと一方向のexit pupil expansionを組み合わせます。目のすぐ前の表示を、ディスプレイパネルではなく光を入れる位置と導波路内の経路として設計します。

どんな発明？

「Flexible display overcenter assembly」は、二つのhousing partにまたがるflexible displayを持つ折り畳み端末の機構です。FIG. 1には開いた状態、閉じる途中、閉じた状態が描かれ、ヒンジ部分でも一枚の表示面が連続しています。

課題は、柔らかい画面を単純な折り目で傷めないことです。特許はflangeやhinge assemblyを使い、閉じたときにディスプレイを支える半径を作る構成を説明します。小さく持ち運ぶ端末と大きい表示面の両方を、画面そのものを曲げることで両立しようとします。