Private KI an Schulen - Wird das bereits genutzt?

Zitat von Morse'

Weil telly, F13, und wie sie alle heißen, so gut sind gibt mein Schulträger Geld für eine privatwirtschaftliche KI-Bildungsplattform aus (Fobizz), die natürlich verspricht sich an die DSGVO zu halten. Ehrenwort.

Firmen wie diese haben das Spiel einfach verstanden: Hauptsache irgendwie digital KI in der Außenwirkung!
So bekam unsere Schule einen Preis für unser digitales Engagement, inklusive Urkunde und Grafiken, die man auf der Schul-Internetseite einbauen kann.
Wer den Preis verliehen hat? Natürlich Fobizz selbst!
Da bei uns so gut wie niemand deren Angebot nutzt habe ich mal nachgefragt was die Kriterien dafür sind, dass man von denen fürs digitale Engagement ausgezeichnet wird. Die Antwort war leider nichtssagend - womöglich mit KI erstellt, wer weiß.

Alles anzeigen

hmm.. und der Grund für die Nichtnutzung sind fehlende Anwendungsfälle oder Unzufriedenheit mit den Ergebnissen?

Zitat von s3g4

Habt ihr zu viel Geld oder willst du nur kleine Modelle verwenden, die keine brauchbaren Ergebnisse liefern? Einen eigenen, gut funktionierenden LLM-Server zu betreiben wird sich keine Schule leisten können.

Folgende Szenarien möglich

Mac Mini (16 GB RAM) (Kosten ca. 800 Euro)

Bis 100 Nutzer

KI Software vorinstalliert 2 KI-Modelle vorgeladen

oder

Mac Mini (24 GB RAM) (Kosten ca. 1000 Euro)

Bis 300 Nutzer

KI Software vorinstalliert 4 KI-Modelle vorgeladen

oder

KI-PC mit NVIDIA GPU (Kosten ca. 2500 Euro)

500+ Nutzer

64 GB RAM KI vorinstalliert 6 KI-Modelle (inkl. grosse)

Ein Mac Mini mit einem M2 oder M4 Chip verbraucht im normalen Betrieb tatsächlich nur zwischen 5 und 20 Watt.
Der KI-PC verursacht deutlich höhere Stromkosten als die 15-Watt-Variante (Mac Mini), da er für die großen KI-Modelle eine leistungsstarke NVIDIA-Grafikkarte benötigt. Wenn ein Schüler eine komplexe Anfrage an das 70B-Modell stellt, zieht allein die Grafikkarte ca. 180W bis 320W. Das gesamte System liegt dann bei etwa 300 bis 450 Watt. Wir schätzen hier auf ca. 2 Euro Kosten pro Tag für Strom.

Zitat von Seph

Ja, genau...wenn ein Schüler eine entsprechende Anfrage stellt. Nur machen das für den sinnvollen Unterrichtseinsatz ziemlich viele Schüler gleichzeitig und spätestens dann wird das ganze sehr grenzwertig. Wie man auf 16 GB RAM 100 Nutzer sinnvoll versorgen möchte, erschließt sich mir nicht wirklich.

Ein Mac Mini mit 16GB oder 24GB RAM kann etwa 5 bis 10 Anfragen wirklich parallel (also in derselben Millisekunde) verarbeiten, ohne dass die Antwortzeit spürbar in die Knie geht. Da der Mac mit ca. 45 Wörtern pro Sekunde antwortet, ist eine Anfrage oft nach 2–3 Sekunden fertig. Der "Sende-Platz" wird also extrem schnell wieder frei.

Wenn wirklich 100 Leute exakt im gleichen Moment auf "Senden" drücken, bildet der Server eine Warteschlange (Queue). Die Schüler auf Platz 80 bis 100 müssten dann ein paar Sekunden warten, bis sie an der Reihe sind.

Zitat von s3g4

Das alles reicht für jeweils einen User gleichzeitig. Mit einer ganzen Klassen kann man so nicht arbeiten.

Es kommt natürlich auch auf die Größe der Schule an. Gehen wir mal von 100 gleichzeitigen Nutzern in der Spitze aus. Da kommst du mit alter Apple-Hardware nicht weit, also wirklich das kann nicht mal für eine Klasse funktionieren. Zu wenig RAM, gar keine GPU (und noch schlimmer kein VRAM). M2 oder M3 kommen auf 15 - 20 tok/s. Mit einer RTX 4090 bekommt man wenigstens 100 - 150 tok/s.

Hier bräuchte man 3 Server (nehmen wir mal 7B-Modelle an [auch wenn die ziemlich klein sind]) à:

Intel Xeon oder AMD Epyc (core count ist eigentlich egal), Mainboard, Gehäuse, Netzteil	2.500 - 3.000
NVMe SSDs	500 - 1.000
NVIDIA RTX 4090/5090 (besser natürlich A-Serie)	2.000 - 3.000
128 GB RAM DDR5	1.500
Summe	6.500 - 8.500

Also 19.500 bis 25.500 nur für die Server (da kann man auch viel viel mehr ausgeben). Dazu käme weitere Infrastruktur, wenn nicht bereits vorhanden. Hinzu kommen noch Stromkosten von ca. 1.000 - 2.000 im Jahr (je nach Auslastung)

Außerdem muss jemand die Wartung übernehmen.

Zitat von s3g4

Vorinstalliert würde ich da gar nichts kaufen, die Modelle kann man einfach runterladen und als Server zur Verfügung stellen

Die Prompts werden nicht innerhalb von Millisekunden verarbeitet, also wird die Warteschlange entsprechend lang sein.

Hast du einen einigermaßen schnellen PC und selbst mal ein KI-Modell laufen lassen? Dann siehst du wie schnell sowas selbst bei nur einem User in die Knie geht.

Die Aussage, der Mac Mini habe "gar keine GPU", ist technisch nicht ganz korrekt. Apple Silicon nutzt Unified Memory. Das bedeutet, die 24 GB RAM des Mac Mini sind gleichzeitig VRAM.

• Der Vorteil: Ein Mac Mini kann ein 15-GB-Modell komplett in den Grafikspeicher laden, was viele normale PCs ohne teure Grafikkarte gar nicht können.
• Der Nachteil: Eine RTX 4090 hat eine Speicherbandbreite von ca. 1000 GB/s, ein Standard M2/M3 Mac Mini nur ca. 100-200 GB/s. Bei vielen parallelen Anfragen (Batching) zieht die RTX 4090 den Mac also gnadenlos ab.

Wer 100 gleichzeitige User will, für den ist der Mac Mini tatsächlich das falsche Werkzeug, dafür ist im Angebot der KI-PC vorgesehen.

Wir werden mal das ausprobieren. Ich kann anschließend die Erfahrungen hier teilen. Die Schule hat ingesamt um die 400 Schüler.