Meine Radeon rechnet jetzt mit

In meinem Intel-iMac steckt eine eigene Grafikkarte, eine AMD Radeon Pro 5500 XT mit 8 GB. Ollama hat sie nie angefasst, das Modell lief auf 100% CPU und entsprechend zäh. Also habe ich mir llama.cpp selbst gebaut, mit Vulkan als Antrieb für die Karte. Metal stürzt auf der AMD ab, weil es für Apple Silicon gemacht ist, Vulkan dagegen läuft. Jetzt lädt der Server das Modell in unter 3 Sekunden auf die Grafikkarte. Damit ist auch klar, warum Ollama und LM Studio AMD auf dem Intel-Mac gar nicht erst anbieten.