【OSS】google-ai-edge/galleryについて

リポジトリ概要

Google AI Edge Gallery は、スマートフォン上（オンデバイス）で生成AI/機械学習のユースケースを「見て・試して・評価する」ことを目的にしたギャラリー型のアプリです。クラウドに投げる前提ではなく、端末の中で推論（モデルが答えを作る処理）を回す体験を中心にしているため、通信が不安定な場面でも試しやすく、デモや学習にも向きます。README では Android 12 以降、iOS 17 以降が要件として案内されており、モバイルでの実用を強く意識していることが分かります。

機能面では、複数ターンで会話できるチャットだけでなく、モデルの「考え方を覗く」ための Thinking Mode、カメラや画像に対して質問する Ask Image、音声を文字起こし・翻訳する Audio Scribe、パラメータ（温度や top-k など）を調整しながら単発プロンプトを試せる Prompt Lab、そして端末内でのモデル管理とベンチマークが柱になっています。特に「Model Management & Benchmark」は、同じ端末でモデルを入れ替えながら速度や体感を比べられるので、端末性能やモデルの癖を理解する入口として便利です。

コード構成は、.github/ に CI（Android ビルドなどのワークフロー）やテンプレート類があり、アプリ本体は Android/ 以下にまとまっています。Android/src/app/src/main/java/com/google/ai/edge/gallery/ 配下は大きく役割が分かれていて、たとえば data/ はモデル一覧・許可リスト・ダウンロード・設定といった「データ側の土台」、runtime/ は LLM の実行やモデル取り回しに関するヘルパー、ui/ はチャット画面、モデル選択、ベンチマーク表示などの UI 部品が集約されています。機能別の“体験”は customtasks/ として切り出されており、agentchat/（Agent Skills を扱うチャット）、mobileactions/（端末操作や自動化寄りの体験）、tinygarden/（ミニゲーム的な体験）などが並びます。

もう一つ特徴的なのが、Android/src/app/src/main/assets/skills/ 以下に多数の「スキル」が同梱されている点です。ここには SKILL.md と scripts/index.html などがセットで入っており、たとえば calculate-hash のように“指示文＋WebViewで動く小さなツール”として組み立てられています。つまりこのアプリは、単なるチャットアプリではなく、「モデルに道具（ツール）を持たせて、できることを増やす」構造を最初から備えています。

どんなときに便利か

まず、オンデバイス生成AIを触り始めたい人に便利です。いきなり SDK を組み込んでアプリ開発を始めるよりも、完成品の UI で“モデルを選ぶ→動かす→比べる”までを一通り体験できるため、用語や選定ポイントが腹落ちしやすくなります。

次に、デモや社内共有に向きます。たとえば「端末の中で動くと何が嬉しいのか」「画像や音声を扱うとどこが難しいのか」を説明するとき、チャットだけのデモでは伝わりにくい場面があります。Ask Image や Audio Scribe のような体験が揃っていると、利用シーンの想像が一気に具体化します。

また、モデル比較をしたい人にも相性が良いです。同じ端末・同じアプリでモデルを入れ替えられるので、アプリの体感（応答の速さ、端末の発熱やメモリの圧迫感など）を揃えた条件で見やすくなります。ベンチマーク UI があることは、評価の会話を「なんとなく速い」から「この端末ではこの設定だとこういう傾向」に寄せる助けになります。

最後に、チャットを“道具付き”に拡張したい人に役立ちます。Agent Skills は、Wikipedia 参照、地図、QR コードなどの小さな道具を組み合わせて、会話だけではやりづらい作業を前に進める発想です。専門的に言うと「ツール呼び出し」や「エージェント」に近いのですが、ここでは「モデルに小さなアプリを呼び出させる仕組み」と捉えると読みやすいと思います。

使い方

利用者としての最初の流れはシンプルです。アプリをインストールしたら、モデルを選んで端末にダウンロードし、チャットや各タイル（Ask Image、Audio Scribe、Prompt Lab など）から試します。モデルが端末に入った後は、通信に依存しない形で体験を続けやすいのもポイントです。

よくある利用フローの具体例としては、(1) まず Chat で短い質問を投げて応答の雰囲気を掴む、(2) Thinking Mode を切り替えて推論の進み方を観察する、(3) Prompt Lab で温度などを変えて「言い回しの揺れ」や「安定性」を確認する、(4) 同じプロンプトを別モデルでも試して違いを比較する、という順が分かりやすいです。画像や音声も扱う場合は、Ask Image で“説明してほしい画像”を読み込ませたり、Audio Scribe で短い録音から試して精度や得意不得意を見たりすると、早い段階で期待値を調整できます。

開発者としてローカルでビルドしたい場合は、DEVELOPMENT.md に「モデルダウンロード機能を正しく動かすには Hugging Face の開発者アプリ設定が必要で、ProjectConfig.kt の clientId / redirectUri などのプレースホルダを置き換える」旨が書かれています。さらに、カスタムの端末操作（Mobile Actions）を拡張したい場合の手順が Function_Calling_Guide.md に整理されており、Actions.kt に新しいアクション種別を追加し、MobileActionsTools.kt にツール定義（@Tool など）を足し、MobileActionsViewModel.kt で実処理を実装していく流れです。デバッグビルドを端末へ入れる例として、ガイドには次のような Gradle 実行例も載っています。

cd gallery/Android/src/
./gradlew installDebug

この「アプリとして使う」と「自分の道具や体験を足して実験する」を行き来できる設計が、このリポジトリの面白さです。

具体的なユースケース

1つ目は、オフライン前提の現場支援です。工場や倉庫、地下など、通信が不安定になりやすい場所では、クラウド前提の生成AIは体験が途切れがちです。オンデバイスでチャットや画像質問が動くと、作業手順の確認や、目の前の部品・表示の読み取りといった“その場の小さな困りごと”を素早く試せます。

2つ目は、議事メモの入口としての Audio Scribe です。長時間の会議をいきなり完全自動化するのは難しくても、まずは短い録音で「どの程度のノイズまで文字起こしできるか」「専門用語がどれくらい崩れるか」を見て、運用できる範囲を掴むことができます。ここで得た感触を、社内のメモツールやワークフローに繋げる判断材料にできます。

3つ目は、プロンプトの検証と共有です。Prompt Lab でパラメータを変えながら試せるので、「同じ指示でも出力が揺れる理由」を体験的に理解しやすくなります。チーム内で“このプロンプトだと安定する”という知見を作る際にも、単なるチャット画面より比較がしやすいです。

4つ目は、Agent Skills を使った“道具付きチャット”の試作です。たとえば Wikipedia 参照や地図、QR コードのようなスキルを組み合わせると、会話だけでは曖昧になりがちな情報を補ったり、結果をカード表示のような形で見やすく返したりできます。さらに開発者であれば、Mobile Actions の仕組みを参考にして、Android の Intent や端末 API とつなぐ「自分だけの操作ツール」を足し、社内端末での定型作業を“自然文の指示”から呼び出す方向性も試せます。

5つ目は、ゲーム的デモ（Tiny Garden）での体験設計の学習です。生成AIは便利でも、ユーザー体験として“何をさせるか”が曖昧だと価値が伝わりません。Tiny Garden のように、言葉で遊びのルールを動かす体験があると、チャット以外の UI と組み合わせた見せ方（導線、フィードバック、音やアニメーションの使いどころ）を学ぶ材料になります。