local.ai

local.aiは、本格的な機械学習スタックを構築せずにローカルでAIモデルを試せるアプリです。モデルのダウンロードから推論サーバーの起動までを簡単にし、GPUなしで利用できます。

主な機能

• ネイティブアプリ：Rustバックエンドで構築され、メモリ効率に優れたコンパクトな設計です。Mac M2、Windows、Linux .debでは10MB未満です。
• CPU推論：CPU推論に対応し、利用可能なスレッドに適応します。GGML量子化のq4、5.1、8、f16にも対応します。
• モデル管理：ディレクトリに依存せずモデルを一元管理できます。再開可能な並列ダウンローダーと使用状況による並べ替えを備えます。
• ダイジェスト検証：BLAKE3とSHA256でモデルの整合性を確認できます。信頼済みモデルAPI、ライセンス・使用状況チップ、BLAKE3クイックチェック、モデル情報カードも含まれます。
• 推論サーバー：モデルの読み込みとサーバー起動の2クリックでローカルストリーミングサーバーを開始できます。簡易推論UI、.mdxへの書き出し、推論パラメータ、リモート語彙に対応します。

ワークフロー

WizardLM 7Bなどのモデルで、2クリックで推論セッションを開始できます。window.aiと組み合わせるなど、オフライン・オンラインを問わずAIアプリを動かせます。

対応プラットフォーム

Windows（.MSI、.EXE）、macOS（M1/M2、Intel）、Linux（AppImage、.deb）に対応しています。

料金

無料のオープンソースで、ソースコードはGPLv3ライセンスです。

今後の機能

GPU推論、並列セッション、ネストしたディレクトリ、カスタム並べ替えと検索、モデルエクスプローラー、モデル検索、モデル推薦、サーバーマネージャー、/audio、/image。