Claude Computer Use が変えるもの — AIが「画面操作」する時代の意味を考える

ZenChAIne·2026年3月27日

AI AgentClaudeAnthropicComputer Use

はじめに

2026年3月24日、Anthropic は Claude に Computer Use 機能を正式に追加した。AI がユーザーのデスクトップ画面を見て、マウスをクリックし、キーボードを打ち、アプリを操作する——SF 映画で見たような光景が、Pro / Max プラン契約者の macOS 上で現実になった。

これは単なる「便利な新機能」ではない。AI エージェントが「コードを書く」段階から「コンピュータを使う」段階に進化したことを意味する。本記事では、Computer Use の仕組みと、それが開発者や組織にとってどんな意味を持つのかを考察する。

この記事のポイント

Claude Computer Use は macOS 上でアプリ操作・ブラウザ操作・ファイル操作を自律実行する
Dispatch 機能により、スマホから指示を出してデスクトップで作業を完了させることが可能
コネクタ → ブラウザ → デスクトップアプリの優先順位で最適な手段を自動選択する
セキュリティはアプリ単位の許可制 + ブロックリストで制御される

Computer Use は何ができて、何ができないのか？

Computer Use は Cowork（Claude のデスクトップアプリ）と Claude Code の両方で利用できる、AI によるデスクトップ自律操作機能だ。

できること

アプリの起動と操作: ファイルを開く、スプレッドシートにデータを入力する、プレゼン資料を作成する
ブラウザ操作: Web アプリのフォーム入力、データ収集、ログイン操作
ファイル管理: フォルダ内のファイル整理、リネーム、データの集計
クロスアプリ連携: Slack のメッセージを確認 → Google Drive からファイルを取得 → メールで報告書を送信——といった複数アプリをまたぐワークフロー

できないこと・制限

Windows 対応は今後: 現時点では macOS のみ。Windows x64 は近日対応予定
投資・暗号資産アプリはブロック: セキュリティ上、証券取引や暗号資産関連のアプリはデフォルトでアクセスが制限される
完璧ではない: Anthropic 自身が「Claude はミスをする可能性がある」と明言している。重要な操作は人間の確認が必要
PCが起きている必要がある: スリープ状態では動作しない。デスクトップアプリが起動している必要がある

なぜ「コネクタ優先」のアーキテクチャが重要なのか？

Computer Use の設計で最も注目すべきは、操作手段の優先順位だ。

1. コネクタ（API 連携） → 最も高速・正確
2. ブラウザ操作         → コネクタがない場合のフォールバック
3. デスクトップアプリ操作 → ブラウザでも対応できない場合の最終手段

Anthropic のドキュメントによれば、Claude はタスクを受けるとまずコネクタ（Slack, Google Calendar, Gmail, Google Drive などの API 連携）の有無を確認する。コネクタがあればそちらを使い、なければブラウザの Web 版を操作する。

この設計は賢い。API 連携は画面操作よりも圧倒的に高速で、エラーも少ない。Computer Use はあくまで「コネクタがない場合の最終手段」として位置づけられている。

Computer Use を「万能なデスクトップ自動化ツール」と捉えるのは誤解です。実際には、可能な限り API 連携（コネクタ）で処理し、それができない部分だけ画面操作にフォールバックする——という設計思想です。

Dispatch が生み出す新しいワークスタイルとは？

Dispatch は、Computer Use をリモートから指示できる機能だ。スマホの Claude アプリから指示を出すと、自宅や会社の macOS デスクトップ上で Claude が作業を実行する。

実践的なユースケース

移動中に: 「昨日の Slack チャンネルの議論をまとめて、Google Docs にブリーフィングを作成して」
会議中に: 「先週のスプレッドシートからQ1の売上データを抽出して、グラフ付きレポートにして」
週末に: 「デスクトップの /Downloads フォルダを整理して、画像は /Photos に、PDFは /Documents に分類して」

これまで「PCの前にいないとできなかった作業」が、スマホから指示するだけで完了する。これは単なる利便性の向上ではなく、労働と場所の結びつきを根本から変える可能性がある。

開発者にとっての意味

開発者視点では、Dispatch は「CI/CD のトリガーを手元から叩く」感覚に近い。ただし、対象が CI パイプラインではなくデスクトップ環境全体に広がっている点が根本的に異なる。

Claude Code と組み合わせれば、「スマホから実装を指示 → デスクトップでコードを書かせる → テストを実行 → PR を作成」という完全リモートの開発フローも技術的には可能になる。

セキュリティ設計はどうなっているのか？

AI にデスクトップを操作させる——当然、セキュリティへの不安は大きい。Anthropic は以下の仕組みでリスクを制御している。

1. アプリ単位の許可制

Claude は新しいアプリにアクセスする際、必ずユーザーの許可を求める。一度許可したアプリは以降自動的にアクセスできるが、初回は必ず確認が入る。

2. ブロックリスト

証券取引プラットフォームや暗号資産ウォレットなど、金融系アプリはデフォルトでブロックされている。ユーザーが独自にブロックリストを設定することも可能。

3. 画面の可視性

Computer Use 実行中は、Claude が何をしているかが画面上にリアルタイムで表示される。「見えないところで勝手に操作される」ことはない。

セキュリティ設計の思想は「デフォルトで制限し、ユーザーが明示的に許可する」というオプトイン方式。これは cmux-delegate で紹介した「委任しつつも手綱を握る」という設計思想と共通している。

Claude Code との関係は？

Computer Use は Cowork だけでなく Claude Code でも利用可能だ。

Claude Code はもともとターミナル上で動作する開発特化のエージェントだが、Computer Use が加わることで「コードを書く」だけでなく「ブラウザでプレビューを確認する」「GUI アプリのテストを実行する」「スクリーンショットを撮ってレポートに貼る」といった、コーディング以外のタスクも自律的にこなせるようになる。

これは、開発ワークフローのうち「手作業で画面を操作する」部分が自動化されることを意味する。E2E テストの実行、デザイン確認、デプロイ後の動作検証——これまで人間がブラウザを開いて目視で確認していた工程を、Claude Code が代行できる可能性がある。

ZenChAIne では、Claude Code の Computer Use を活用した開発ワークフローの自動化を引き続き検証していく。

参考ソース

🇺🇸 Read in English

この記事のダイジェスト版

Zenn で読む note で読む