ナローバンドでもスムーズにビデオ電話。

AppleがFaceTimeに関する新しいアイデアを米国特許商標局に申請しました。その内容は非常にシンプル。でもこれまでにない斬新なアイデアです。ネット環境がよくない状態でもFaceTimeでのビデオチャットをスムーズにできるようにするというもので、具体的には回線のせいで途切れ途切れになってしまう箇所に、加工したイメージや事前に記録したイメージをビデオ電話中に挿入する技術です。

特許名は「コンテンツベースのフレーム検索を使用したビデオ伝送」。名前から分かる通り、ビデオチャット中にデバイス間でやりとりされるデータの量を、ビデオフレームデータを使用することで削減するというものです。特許申請では、ビデオ内で顔の特徴などのイメージパラメータをトラッキングし、それらを検索可能なデータべースに保存する方法、対応するフレームにタグ付けする方法などが説明されています。

フレームの中身がデータベースに保存されていますから、iPhoneやiPadはサーバーにどんなフレームかという情報のみを送信すればよくなります。これはフレームそのものを送るよりもかなり少ないデータ量ですむことを意味します。サーバーは送られてきた情報を元に、これまでの会話やあるいは全く別の会話から取得したデータから似たようなイメージを検索します。似たようなイメージが存在しない場合には、送られてきた情報を使用して適当なモーフィングイメージを作成します。

そして回線のせいで処理落ちが発生したときに、途切れた部分にこのイメージを挿入します。そうすることで、低速回線でもスムーズに連続しているように見えるビデオを提供できるというわけです。

でも、例えば過去に同じ表情をしているイメージデータがあったとしても、背景がまったく違う場合などはどうなるんでしょう？　Appleはそういうシナリオもすでに想定済み。そういう場合には、保存されている高解像度の顔画像と、超低解像度のリアルタイム背景画像をつぎはぎします。つぎはぎとは言え、チャット中にはほとんど気にならない程度になるようです。

この技術が実用化されれば、ネット環境がよくないときにも、スムーズに会話がすすめられるし、それ以外の場面でもデータ伝送量を削減してくれるのでユーザーにとってうれしいかぎりです。が、なんといってもまだ特許段階。Appleの中の人がアイデアを出しただけの段階なので、実際に製品化されるかどうかは分かりません。