Geminiに画面操作を任せる前に。スクリーンショットの扱いと止め方を確認する
Googleは、Gemini Appsの画面自動操作について、実行中にアプリ画面のスクリーンショットを取得することがあり、画面に表示された情報を含み得ると案内しています。Keep Activityをオンにしている場合、スクリーンショットは訓練済みレビュアーにより確認され、Googleサービスの改善に使われることがあります。Googleは利用者が操作を監督し、停止・進行確認・手動操作への切替を行えると説明し、ログイン情報や支払情報をGeminiのチャットへ入れないよう求めています。買い物や予約の操作を便利に任せる前に、画面に何を表示するか、Keep Activity、途中で止める場所を決める記事です。
- Androidアプリ上の操作をGeminiに手伝わせようとしている人
- 画面に仕事・決済・個人情報が表示されるスマートフォンを使う人
画面に出る情報を確認し、機微情報・決済・緊急時は任せない。実行中はいつでも止めて自分で確定しましょう。
身近な事例を知る
Geminiにアプリ上の注文や予約を手伝わせたいが、画面には住所や支払い情報も出る
スマートフォンで表示中の画面をGeminiに読ませ、手続きを進めてもらえると便利そうです。一方で、途中の画面に住所、注文履歴、ログイン状態、カード情報が現れることがあります。どこまで任せ、異常時にはどう止めるべきかを判断したい状況です。
あなたならどうする？
まず一つ以上選んでから確認してみてください。
推奨される行動- 機微情報や決済の画面では使わず、進行を見ながら必要なら停止・手動操作へ切り替える
選んだカードの表示を見ながら、今回はどの行動が安心につながるか確認できます。
Geminiの画面自動操作では、実行中にスクリーンショットが取得され、画面上の情報を含むことがあります。機微情報や緊急性の高い操作には使わず、進行を確認して、必要ならStopまたは手動操作へ切り替えることが重要です。
確認ポイント
画面に機微情報が出ない手順か
画面自動操作では、表示中の情報を含むスクリーンショットが取得されることがあります。住所、認証情報、支払い情報が出る手順は任せないようにします。
Keep Activityの状態
Keep Activityがオンの場合、画面自動操作中のスクリーンショットは訓練済みレビュアーにより確認され、サービス改善に使われることがあります。設定と用途を対応させます。
停止と手動操作への切替
Googleは、利用者が操作を停止し、進行を見て手動で引き継げると案内しています。確定前に止める担当を利用者側に残します。
任せない用途を決める
Googleは、緊急時や機微情報を含む作業への画面自動操作の利用を避けるよう案内しています。注文・送信の確定は自分で見直します。
現時点での見立て
Geminiは画面自動操作中にスクリーンショットを取得し、画面に表示された情報を扱うことがあります。Keep Activityがオンなら、スクリーンショットはサービス改善に使われ得ます。任せるのは機微情報を含まない途中作業にとどめ、ログイン・支払い・最終確定は画面を自分で見て行うのが安全です。
安全な対処方法
安心につながる行動
- 自動操作を始める前に、画面に表示される情報を確認するスクリーンショットには、操作対象アプリに表示された情報が含まれることがあります。
- Keep Activityの状態を確認し、用途に応じて設定するオンの場合、画面自動操作中のスクリーンショットは訓練済みレビュアーにより確認され、サービス改善に使われることがあります。
- 実行中は進行を確認し、必要なら停止して手動で引き継ぐGoogleは利用者が操作を停止、進行確認、手動操作できると案内しています。
- 注文確定・送信・支払い前は、自分で宛先と内容を確認するGeminiが誤ることがあり、利用者が自分の代わりに行われる操作を監督する必要があります。
避けたい行動
- カード番号、パスワード、ワンタイムコードをGeminiのチャットへ入力するGoogleはGeminiのチャットへログイン情報や支払情報を入力しないよう案内しています。
- 緊急時や機微情報を含む操作を、画面自動操作に任せるGoogleはこれらの作業での画面自動操作の利用を避けるよう案内しています。
- 自動操作の結果を見ずに、購入や送信を確定する画面自動操作は誤ることがあり、最終的な操作の責任は利用者にあります。
AIの前向きな活用
定型的な途中作業だけを任せ、確認が必要な場面は自分で担う
画面に機微情報が出ない検索や候補比較などに範囲を絞れば、Geminiの画面操作を時間短縮に使いながら、確定や認証を自分で管理できます。
- 候補の店舗や商品の検索までを手伝わせる
- 支払い画面に進む前に停止して自分で確認する
- 配送先や予約日時の確定は手動で行う
- 作業後にKeep Activityの設定を見直す
今回、覚えておきたいこと
Geminiの画面自動操作は、画面に出す情報を絞り、止めて自分で確定する。
情報源
- Gemini Apps Privacy Hub（外部リンク） Google その他
誠主任からひとこと