Microsoft は、Windows 11 オペレーティング システムの Fall Moments アップデートを発表し、サポートされているすべてのパーソナル コンピューターに人工知能機能を統合するように設計された一連の機能を導入しました。このアップデートは、Copilot Voice と Copilot Vision という 2 つの主要な追加機能を中心にしています。これらは連携して機能し、ユーザーにとってよりインタラクティブな AI 環境を作成します。最初の機能である Copilot Voice を使用すると、ユーザーは音声コマンドや自然な会話を通じてコン​​ピューターと対話できます。これは、他の対話型 AI ツールと同様の対話方法です。 2 番目のコア機能は Copilot Vision です。これにより、コンピュータはカメラを通じて周囲を認識し、解釈できるようになります。 Copilot Vision は、ユーザーの画面に表示されるコンテンツを分析することもでき、コンテキストを理解し、「見えている」内容に基づいてアクションを実行できるようにします。このアップデートの一環として、AI アシスタントは「Hey、Copilot」というフレーズを使用して音声で起動できるようになりました。アクティブ化すると、ユーザーは質問したり、情報を検索したり、アシスタントに特定のタスクを実行するように指示したりできます。 Copilot Vision 機能を使用すると、ユーザーはデスクトップや個々のアプリケーションを AI と直接共有できます。その代わりに、Copilot は画面上のコンテンツに関する洞察を提供したり、質問に答えたりすることができます。このアップデートでは、Microsoft が「ハイライト」と呼ぶガイダンス機能も導入されています。このツールは、特定のコンピュータ操作に不慣れなユーザーを支援するために設計されています。画面上の領域を指して助けを求めると、ユーザーはタスクを完了する方法について AI から段階的な指示を受け取ることができます。 Microsoft は、この機能が特に技術的な知識のレベルが低いユーザーに利益をもたらすことを目的としていると述べています。ハイライト機能は、オペレーティング システム内および特定のアプリケーション内で使用できます。これらの機能に関連して、Copilot 入力インターフェイスが再設計され、Windows 11 タスクバーに直接統合されました。この変更は、AI アシスタントとのテキストベースの対話をよりアクセスしやすくすることを目的としています。 PowerPoint、Excel、Word を含む Microsoft 365 アプリケーション スイート内で、ユーザーの作業の完全なコンテキストを理解できるように Copilot Vision が強化されました。明示的なユーザー許可があれば、AI は画面を表示し、プレゼンテーションのデザインやスプレッドシート データの分析などのタスクを支援できます。 Microsoft は、インテリジェント エージェントがユーザーに代わって複数ステップのタスクを実行できる機能である Copilot Actions も拡張しています。以前はホテルの予約や航空券の検索などのブラウザーベースのアクションに限定されていましたが、この機能は現在 Windows 11 Insiders プログラムにも拡張されています。この拡張により、コパイロット アクションがローカル オペレーティング システム内で動作し、ファイル エクスプローラーでタスクを実行したり、コンピューター上のファイルを検索したりできるようになります。ユーザーが望む結果を記述すると、AI がそれを実行します。これは、AI を OneDrive などのサービスや Google Gmail などの外部プラットフォームとリンクさせ、タスクの結果を他のアプリケーションにエクスポートする機能を備えた、より広範な Microsoft の取り組みにつながります。さらに、MicrosoftはタスクエージェントツールManusとの連携を発表した。この提携により、許可を受け取ることを条件として、ツールがユーザーのローカル ファイルに対して複雑な操作を実行できるようになります。このコラボレーションの技術的基盤は、Microsoft とマナスの親会社である上海に拠点を置くサードパーティ企業によって構築された共有インフラストラクチャであり、AI 機能で強化された Azure サーバーを利用しています。セキュリティとプライバシーに対処するために、このアップデートには「セキュリティ フェンス」と呼ばれる新しい制御レベルが含まれています。 Microsoft は、ユーザーは新機能を完全に制御でき、いつでもコパイロット アクションを無効にしたり一時停止したりできると述べています。同社はまた、タスクの各段階で更新情報を提供し、AI の動作に関する完全な透明性をユーザーに提供することにも取り組んでいます。 Microsoft は、最近の「リコールの大失敗」から得た教訓を引用し、セキュリティとプライバシーのメカニズムを改善するために、継続的に包括的なチェックを実行し、組織的なフィードバックを収集していると主張しています。

Source: Microsoft、Windows 11で「Copilot Voice」と「Copilot Vision」をリリース

  iOS 15について私たちが知っていることすべて:改善された通知、プライバシー機能など