WebGPUを活用してブラウザ内でLLM推論を行うエンジンWebLLMが公開

WebGPUを活用してブラウザ内でLLM推論を行うエンジンWebLLMが公開 https://bunrin.work/news/ja/news/webllm-high-performance-in-browser-llm-inference-e-43089 WebLLMは、WebGPUを利用してハードウェア加速を行い、サーバーを介さずブラウザ内で直接言語モデルの推論を実行できるエンジンです。