Promptr

Fonctionnalité principale

Promptr compresse les prompts de grands modèles de langage (LLM) via un seul appel à une API REST. Il permet d’économiser jusqu’à 40 % sur les coûts des LLM tout en obtenant exactement la même sortie.

Fonctionnalités principales

• Intégration rapide : ajout possible en seulement 5 minutes.
• Taux de compression élevé : le ratio par défaut est de 0,6, soit une réduction de 40 %. Des ratios personnalisés sont pris en charge, par exemple <promptr ratio="0.5"> pour une compression de 50 % ou <promptr ratio="0.8"> pour une compression de 20 %.
• Sections non compressées : la balise <promptr compress="false"> permet d’indiquer les sections à ne pas compresser ; ces sections ne sont pas facturées.

Utilisation et prise en charge de l’API

Promptr fournit un seul point de terminaison API : http://promptr.me/compress-prompt. L’intégration rapide est prise en charge dans plusieurs langages :

• curl : envoyer une requête POST avec le prompt au format JSON.
• Python : effectuer une requête POST avec la bibliothèque requests.
• JavaScript : effectuer une requête POST avec l’API fetch.
• C# : effectuer une requête POST asynchrone avec HttpClient.

Les en-têtes doivent inclure accept: text/plain, token: YOUR-API-TOKEN et Content-Type: application/.

Utilisateurs concernés

Promptr s’adresse aux développeurs, aux entreprises et aux créateurs d’applications IA qui effectuent de nombreux appels aux API de LLM, notamment lorsque le même prompt est réutilisé plusieurs fois.

Avantages principaux

• Réduction significative des coûts : pour une réutilisation 100 fois, Promptr permet d’économiser 40 % sur GPT-4-Turbo et GPT-4. Même avec une seule utilisation, l’économie atteint 30 % sur GPT-4-Turbo et 37 % sur GPT-4.
• Sortie sans perte : le prompt compressé produit la même sortie LLM que la version non compressée.

Tarification et coût

Promptr fonctionne selon un modèle à l’usage, sans frais cachés. Le coût est de 1 $ par million de tokens d’entrée. Par exemple, avec GPT-4 à 30 $ par million de tokens d’entrée et une réutilisation du prompt 100 fois, le coût sans Promptr est de 3 000 $. Avec Promptr, le coût du LLM passe à 1 800 $ pour 600 000 tokens d’entrée, auxquels s’ajoute 1 $ pour Promptr, soit 1 801 $ au total et une économie de 40 %.