Apple は、iOS 14、iPadOS 14、tvOS 14、macOS 11.0 Big Slur の Vision フレームワークに新しい機能を追加しました。これにより、開発者はスクリーンレス アプリのクールなインタラクションをサポートできるようになります。
アプリでハンドジェスチャーを有効にする
Apple の WWDC 2020 セッション「Vision で体と手のポーズを検出する」で説明されているように、iOS/iPadOS 14、tvOS 14、macOS 11 の更新された Vision フレームワークは、新しいコンピューター ビジョン アルゴリズムを利用して、入力画像やビデオに対してさまざまなタスクを実行します。
顔や顔のランドマークの検出、テキスト検出、バーコード認識、画像登録、一般的な特徴の追跡、オブジェクトの分類/検出などの従来の機能に加えて、フレームワークは写真やビデオ内の体や手のポーズの検出もサポートするようになりました。
これにより、アプリは人間の体や手によるジェスチャー、動き、ポーズを分析できるようになります。静止画像だけでなく、刷新されたフレームワークは、ユーザーのデバイスに内蔵されたカメラからのライブビデオフィードに対しても、この種の高度な分析を実行できます。
なぜ気にする必要があるのか
このフレームワークを活用したアプリは、人のポーズ、動き、ジェスチャーを分析することで、これまで実現できなかった様々な新機能を提供できます。例えば、体の動きをインテリジェントに分類できるフィットネスアプリなどが挙げられます。
あるいは、従業員に正しい人間工学的姿勢を訓練するのに役立つ安全アプリもあります。
Appleの開発者セッションで紹介されたもう一つの例として、このフレームワークを活用してポーズの類似性に基づいて動画を検索できる動画編集アプリが挙げられます。重要なのは、ハンドポーズアナリストによって開発者がアプリにジェスチャー認識を組み込むことができることです。
ハンドジェスチャーのサポートにより、画面に触れることなく指を空中で動かすことでアプリに「描画」するなど、全く新しい形のスクリーンレスアプリインタラクションが可能になります。他にも、アプリモードの簡単な切り替え、特定のジェスチャーに合わせた絵文字のマッチング、ユニークなハンドジェスチャーでカメラのシャッターを切るといった操作など、様々な機能をご利用いただけます。
改善が必要な分野
Apple のセッション ビデオでは、前述の機能は一般的な手や体のポーズのほとんどでうまく機能すると述べられていますが、いくつか注目すべき例外もあります。
手袋を着用していたり、厚着をしている場合、フレームワークが誤作動する可能性があります。また、かがんでいたり、部分的に遮蔽されている人の手や体の姿勢を検出する場合も同様です。
手のジェスチャーについてどう思いますか?
ハンドジェスチャーをサポートするアプリは必要だと思いますか?
Apple のセッション ビデオでは、これらの新機能の恩恵を受ける可能性のあるいくつかの特定の種類のアプリの概要がわかりやすく説明されていますが、他のアプリについてはどうでしょうか?
最後に、スクリーンレス アプリ インタラクションには意味があると思いますか?
下のコメント欄にあなたの考えを投稿してください!
