Promptr

主な機能

Promptrは、1回のREST API呼び出しで大規模言語モデル（LLM）のプロンプトを圧縮します。LLMの出力を完全に同じに保ちながら、LLMコストを最大40%削減できます。

主な特徴

• すばやい導入：わずか5分で追加できます。
• 高い圧縮率：デフォルトの圧縮率は0.6（40%削減）です。<promptr ratio="0.5">で50%、<promptr ratio="0.8">で20%など、カスタム圧縮率にも対応します。
• 非圧縮セクション：<promptr compress="false">タグで圧縮しないテキスト部分を指定できます。非圧縮部分は課金対象外です。

利用方法とAPI対応

APIエンドポイントは http://promptr.me/compress-prompt の1つで、複数のプログラミング言語による迅速な統合に対応しています。

• curl：プロンプトをJSON形式で含むPOSTリクエストを送信します。
• Python：requestsライブラリでPOSTリクエストを実行します。
• JavaScript：fetch APIでPOSTリクエストを実行します。
• C#：HttpClientで非同期POSTリクエストを実行します。

ヘッダーには accept: text/plain、token: YOUR-API-TOKEN、Content-Type: application/ を含める必要があります。

対象ユーザー

開発者、企業、AIアプリケーション開発者向けです。特に、同じプロンプトを複数回再利用するなど、LLM APIを大量に呼び出す用途に適しています。

主なメリット

• 大幅なコスト削減：プロンプトを100回再利用する場合、GPT-4-TurboとGPT-4で40%節約できます。1回だけ使用する場合でも、GPT-4-Turboで30%、GPT-4で37%節約できます。
• 出力の完全性：圧縮後のプロンプトは、圧縮前と同じLLM出力を生成します。

料金とコスト

隠れた費用のない従量課金制です。料金は入力トークン100万個あたり1ドルです。たとえば、入力トークン100万個あたり30ドルのGPT-4でプロンプトを100回再利用する場合、Promptrなしでは3,000ドルです。Promptrを使うと、LLMコストは入力トークン60万個分の1,800ドルとなり、Promptrの1ドルを加えた合計は1,801ドルで、40%の節約になります。