Pont d'inférence : Pont de navigateur pour l'accès aux LLM locaux et cloud
Inference Bridge, construit par samsamskies (SamSamskies), est une extension Chrome qui implémente l'API Inference Provider expérimentale pour connecter des applications web et des LLM. Elle injecte un objet window.inference standardisé afin que les pages puissent demander des réponses AI directement via le navigateur, prenant en charge le texte en streaming via window.inference.request() et le routage vers OpenAI avec une clé stockée ou vers des instances locales d'Ollama. Destinée aux développeurs web, aux chercheurs en IA et aux utilisateurs soucieux de leur vie privée, elle conserve les clés API à l'intérieur de l'extension et offre des contrôles de permission par origine pour un accès au modèle plus sûr.
Comment il expose une interface AI standard aux pages web
Injecte une API côté navigateur en fournissant un objet window.inference que les pages peuvent appeler directement. L'extension prend en charge le chat texte en continu via window.inference.request(), permettant aux applications web de consommer des jetons au fur et à mesure de leur arrivée. Les demandes sont validées à l'intérieur de l'extension avant toute activité réseau, ce qui empêche les pages de transmettre des charges utiles arbitraires. Cette approche permet aux interfaces web d'agir en tant que clients LLM sans intégrer les identifiants du fournisseur dans les scripts de page.
Comment elle sépare les identifiants et contrôle l'accès
Invitations de permission par origine demandent aux utilisateurs d'Autoriser, de Refuser ou de Mémoriser l'accès pour chaque fournisseur et modèle, offrant un contrôle granulaire par site. Les clés API sont stockées dans le service worker de l'extension, de sorte que les scripts de page ne voient jamais les identifiants. L'extension supprime également les en-têtes Origin et Referer pour faciliter les connexions locales, et elle limite l'injection aux contextes de niveau supérieur sécurisés pour réduire l'exposition aux pages non sécurisées.
Où les modèles locaux et les clés cloud se rencontrent
Surface API unifiée prend en charge à la fois les serveurs Ollama locaux et une option OpenAI apportez votre propre clé, permettant aux développeurs de prototyper avec l'un ou l'autre fournisseur. L'extension gère la suppression des en-têtes et le routage local pour contourner les barrières CORS courantes pour l'inférence locale, éliminant le besoin d'un proxy supplémentaire lors des tests. Le support de streaming et une interface unique font que les intégrations prototypes se comportent de manière cohérente à travers les types de fournisseurs.
Limites pratiques que les développeurs doivent planifier
Construit comme une référence expérimentale, l'extension limite l'injection aux cadres de niveau supérieur et ne fonctionne pas sur des pages file: ou dans des sous-cadres, donc les intégrations qui dépendent de cadres intégrés nécessitent des conceptions alternatives. Elle cible uniquement les navigateurs basés sur Chromium, et le développeur la positionne comme l'implémentation de référence officielle pour la proposition d'API Inference Provider, donc les équipes devraient traiter l'outil comme un point de départ plutôt que comme un composant de production fini.
Un pont pragmatique axé sur les développeurs avec des compromis expérimentaux
L'extension est une option pragmatique pour les développeurs et les chercheurs qui prototypent des flux de travail navigateur-LLM et qui acceptent des outils expérimentaux et un travail d'intégration. Attendez-vous à adapter le code de l'application et à exécuter des tests dans des environnements contrôlés. En guise de conseil pratique, limitez les autorisations mémorisées aux hôtes de développement et gardez les points de terminaison du modèle sur des réseaux isolés pendant les tests. L'outil sert de référence de travail pour la mise en œuvre de l'API de navigateur proposée.
