GoogleがGemini APIの「Computer Use」ツールを一般提供（GA）にしました。画面を見てブラウザなどを操作するAIエージェントを、本番業務に組み込む前提で検討できます。 ただし操作を実行する環境は自社で用意する必要があり、安全面の設計が欠かせません。
この記事は、Googleが2026年10月30日に公開した公式発表をもとに、2026年11月1日時点の情報で書いています。
何が発表されたか
Gemini APIのリリースノートに、2026年10月30日付で次の内容が載りました。
- Computer Useツールが、InteractionsとGenerateContentの両APIで一般提供（GA）になりました
- Computer Useは、画面のスクリーンショットをモデルが見て、クリックやキー入力などの操作を提案する仕組みです
- 操作の実行は利用者側のコードが担います（クライアント側実行）。関数呼び出しと同じ考え方です
- Gemini 4と3.xのモデルでは、ブラウザ・モバイル・デスクトップの3つの環境を扱えます
- 料金、日本での提供可否、日本語での操作精度は、確認したGoogleの公式ページでは発表されていません
公式ドキュメントに載っている対応モデルは次の4つです。
| モデル | 公式ドキュメントでの位置づけ |
|---|---|
| Gemini 4 Argon | 最も高性能。複雑な推論と画面操作の業務向け |
| Gemini 3.8 Flash | 画面操作で推奨されるモデル |
| Gemini 3.5 Flash-Lite | 低遅延でコストを抑えたモデル |
| Gemini 3 Flash Preview | プレビュー版のモデル |
仕組みは「リクエスト送信 → 操作の提案 → 操作の実行 → 画面の再取得」を、作業が終わるまで繰り返す流れです。
安全面では、決済やアカウント作成などを確認の対象にする安全ポリシーが用意されています。スクリーンショットに隠れた指示がないかを調べる「プロンプトインジェクション検出」もあります。こちらはオプトイン（自分で有効にする設定）で、初期値は無効です。
日本の企業・学校でどう使えるか
ここからは、公式発表をふまえたTERRAISEの考えです。
業務・授業での使いどころ
公式ドキュメントは、定型的な入力作業、Webアプリの画面テスト、複数サイトの調査を例に挙げています。これをもとに、次のような使い方が考えられます。
- 経理・総務（データ入力の自動化）
- 入力: 取引先の管理画面に入れる項目の一覧
- 処理: AIが画面を見て、フォームへ順に入力する
- 出力: 入力済みの画面。送信前に担当者が確認する
- 情報システム・開発（画面テスト）
- 入力: 確認したい操作の流れ（ログイン、検索など）
- 処理: AIが画面を操作し、結果を確かめる
- 出力: テストの実行記録
- 学校の授業準備・調査（教員）
- 入力: 授業で扱うテーマと、調べたい公開Webサイト
- 処理: AIが複数のサイトを回り、情報を集める
- 出力: 教員が内容を確かめるための情報一覧。生徒の個人情報を扱う画面には使わない
「出力の形が決まっている作業」ほど、自動化に向いています。まずは人が確認できる下書き段階までをAIに任せるのがおすすめです。
始め方
- 開発担当またはDX担当が、Gemini APIのAPIキーを用意します。会社や学校のルールに沿って、管理者の承認を得ておきます
- 画面操作の対象にする業務を1つ選びます。公開情報だけで済み、失敗しても戻せる作業が向いています
- 公式ドキュメントの最小例（ブラウザ環境）を、サンドボックス（隔離した仮想マシンやコンテナ）で動かします。Playwrightという自動操作ツールを使った例が載っています
- 確認が必要な操作は、人が承認する流れにします。ログも残します
- 小さな業務で試してから、対象を広げるかを判断します
注意点
- 情報の扱い: 公式ドキュメントは、重要な判断、機密データ、取り返しのつかない操作には使わないよう勧めています。個人情報や社外秘の画面は、社内ルールを決めてから扱ってください
- 人の監督: Computer Useは誤りや脆弱性を含む可能性があるとされています。重要な作業は、人が近くで見守る前提にしてください
- 実行環境は自社で用意: 操作の実行はクライアント側です。サンドボックスの用意や、アクセスできるサイトの制限（許可リスト・拒否リスト）が必要になります
- 未確定の点: 料金、日本での提供可否、日本語の画面での精度は、公式ページで確認できていません。契約前に公式の料金ページなどで確かめてください
- モデルの種類: Gemini 3 Flash Previewはプレビュー版のモデルです。本番では、公式が推奨するモデルから検討するのが無難です
TERRAISEに相談する
画面操作の自動化は、どの業務を任せ、どこを人が確認するかの切り分けが成否を分けます。TERRAISEでは、60分の無料相談で、自社・自校の業務を入力→処理→出力に分けて整理できます。研修から始めたい場合は研修全般、情報を外に出せない場合はローカルLLM導入もご覧ください。
出典（2026年11月1日 07:06 確認）
- Google「Release notes | Gemini API: Computer Use generally available (GA)」
- Google「Gemini API リリースノート（2026年10月30日の項目）」
- Google「Gemini API ドキュメント: Computer use」
製品名・機能・提供範囲・料金は変わることがあります。導入前に必ず公式情報をご確認ください。
Supervised by — 監修
株式会社TERRAISE 代表取締役CEO 舟橋 遼亮2025年2月に株式会社TERRAISEを創業。お茶の水女子大学 外部講師、Google AI Student Ambassador（2025年）を務める。上場企業や全国の高校などで、AIの活用を実際に指導している。