コピペも長文プロンプトも不要——気になる箇所を「指すだけ」でAIが応える。Android Authorityによると、Googleが、Googlebooks向けに披露したAIカーソル機能「Magic Pointer」を、Gemini in Chromeにも展開すると報じられています。画面上の対象をポイントするだけで、Geminiが文脈と意図を読み取って応答する新しい操作モデルです。

なお、ソース見出しでは「Googlebooks」という表記が使われていますが、これは元記事の表記をそのまま引用したものです。一般的なGoogle製品名としては「Google Books」が知られていますが、本記事ではソースの表記に準拠しています。

コピペ不要、指すだけでGeminiが動く

Android Authorityの報道によれば、Magic Pointerは、マウスカーソルにGeminiの文脈理解能力を組み合わせた操作モデルです。テキストをGeminiにコピーしたり、長文プロンプトを書いたりする代わりに、画面上の対象をポイントして助けを求められるようにすることが狙いとされています。

掲げられているコンセプトは、ユーザーの作業フローを中断せずに、使っているツールに直感的なAIを届けるというもの。ブラウジング中に商品を比べたい、画像の一部について質問したい、コードの一部分の意味を知りたい——そうした「ちょっとした問いかけ」のたびに、内容をコピーしてチャットUIに貼り付ける手間から解放されることが期待されます。

Chromeでできるようになる操作

Android Authorityによると、想定されている操作の例は次のとおりです。

  • ウェブページ上の複数の商品を選択して比較を依頼する
  • 部屋の特定の場所をポイントして、家具を配置したイメージを可視化する
  • 単語・段落・画像の一部・コードブロックを指して質問や指示を行う

ECサイトで複数の商品ページをタブで開いて見比べる、レビュー記事から仕様を拾い出してメモに貼るといった作業が、ポインタ操作だけで完結する可能性があります。

Chrome版とGooglebooks版の関係

Android Authorityの見出しおよび本文では、機能の出自として「Googlebooks」という表記が使われています。ChromeのGemini向けに展開されるのが、もともとGooglebooks向けに披露された同名機能であるという位置づけです。両者の機能差や役割分担に関する詳細は、本ソースの抜粋からは確認できません。詳細は出典元を参照してください。

提供地域や対象ユーザーなどロールアウトの詳細についても、本ソースの抜粋からは確認できません。実際にどの程度自然に動作するかは、実環境での提供を待つ必要があります。続報を待ちたいところです。

DeepMindが掲げる「ピクセルを実行可能なエンティティに変える」という発想

Magic Pointerの根底には、Google DeepMindの研究チームによる設計思想があります。Googleが強調しているアイデアの1つが「ピクセルを実行可能なエンティティに変える」というもので、Geminiが画面上のオブジェクト、日付、場所などのコンテンツを直接認識できるようにし、動画内のレストランの一覧、手書きのメモ、旅行先などにユーザーが即座にインタラクションできるとされています。

既にAI Studioで触れられるデモ

研究段階の体験も一部公開されています。Google AI Studio上では、画像編集と地図上の場所検索という2つのデモが公開されており、いずれもポインティングと発話によって操作できます。例えば建物の画像を指して「道順を表示して」と頼むだけで、AIシステムがすでに文脈を理解しているため、それ以上の入力は不要というイメージです。チャットUIにテキストを再記述する従来の流れを置き換える狙いが、こうしたデモから読み取れます。

Googlebook版とChrome版の機能差と現状のロールアウト

ポイント操作という同じコンセプトを共有しつつも、両者の役割は分かれる見通しです。Magic Pointerのより複雑な機能は今後発売されるGooglebookに搭載され、Chrome版では比較や可視化といった基本的な機能が提供される見込みとされています。

項目Googlebook版Gemini in Chrome版
提供形態ハードウェア搭載ブラウザ機能として展開
主なツールask・compare・combine比較・可視化など基本機能
提供時期2026年秋段階的に展開中

Googlebook版ではメール内の日付をポイントすれば会議の設定につながり、2枚の画像を選ぶと合成可視化が行えるなど、ask・compare・combineの3つのツールが用意されています。Googlebook自体はAcer、ASUS、Dell、HP、Lenovoがパートナーとなり、多様なフォームファクタで展開される予定です。一方Chrome側について、Android Authorityが実際にGemini in Chromeを確認したものの、まだMagic Pointerの機能にはアクセスできず、ロールアウトは限定的または段階的である可能性が指摘されています。

Q&A

Q. Magic Pointerは誰でもすぐ使えますか？ 本ソースの抜粋からは、提供地域や対象ユーザーに関する詳細は確認できません。詳細は出典元を参照してください。

Q. 既存のGemini in Chromeの機能と何が違うのですか？ 従来はテキストをコピーしたりプロンプトを書いたりして質問する必要がありましたが、Magic Pointerでは画面上の対象をポインタで指すだけでGeminiが意図を読み取って応答する点が異なるとされています。商品比較や、画像内の特定位置を指してのビジュアライズなど、ポインタ操作を起点とした問いかけが可能になると紹介されています。

Q. Googlebooks版とChrome版で違いはありますか？ 本ソースの抜粋からは両者の具体的な機能差は確認できません。詳細は出典元を参照してください。

出典