WebGPUを活用しブラウザ上でLLM推論を行うWebLLMが登場

WebGPUを活用しブラウザ上でLLM推論を行うWebLLMが登場 https://bunrin.work/news/ja/news/webllm-high-performance-in-browser-llm-inference-e-43089 MLC LLMの関連プロジェクトであるWebLLMは、WebGPUによるハードウェア加速を用いてブラウザ内で直接言語モデルの推論を可能にするエンジンであると発表した。