Eine Frage. Wenn wir den Anthropic Key eingeben (der an einem Benutzerkonto hängt, was für Abrechnungen genutzt wird), wie tust du gewährleisten, dass der Key nicht dir übermittelt wird?
Theoretisch gesehen (ich will nichts unterstellen), könnte man den API Key ja für eigene Zwecke nutzen.
Ich finde deine Idee gut, aber um Personen auf deine Plattform zu bringen, müsstest du hier das Vertrauen erarbeiten.
Der Mac Mini kommt auch bei deutlich weniger Nutzern schnell an seine Grenzen. Ich fürchte, ihr macht euch als Schule da etwas vor (oder du der Schule), wenn suggeriert wird, ein solches Setting sei eine geeignete Umgebung für einen schulweiten Betrieb eines lokalen Modells.
Danke fürs Feedback
Das alles reicht für jeweils einen User gleichzeitig. Mit einer ganzen Klassen kann man so nicht arbeiten.
Es kommt natürlich auch auf die Größe der Schule an. Gehen wir mal von 100 gleichzeitigen Nutzern in der Spitze aus. Da kommst du mit alter Apple-Hardware nicht weit, also wirklich das kann nicht mal für eine Klasse funktionieren. Zu wenig RAM, gar keine GPU (und noch schlimmer kein VRAM). M2 oder M3 kommen auf 15 - 20 tok/s. Mit einer RTX 4090 bekommt man wenigstens 100 - 150 tok/s.
Hier bräuchte man 3 Server (nehmen wir mal 7B-Modelle an [auch wenn die ziemlich klein sind]) à:
Intel Xeon oder AMD Epyc (core count ist eigentlich egal), Mainboard, Gehäuse, Netzteil 2.500 - 3.000 NVMe SSDs 500 - 1.000 NVIDIA RTX 4090/5090 (besser natürlich A-Serie) 2.000 - 3.000 128 GB RAM DDR5 1.500 Summe 6.500 - 8.500 Also 19.500 bis 25.500 nur für die Server (da kann man auch viel viel mehr ausgeben). Dazu käme weitere Infrastruktur, wenn nicht bereits vorhanden. Hinzu kommen noch Stromkosten von ca. 1.000 - 2.000 im Jahr (je nach Auslastung)
Außerdem muss jemand die Wartung übernehmen.
Vorinstalliert würde ich da gar nichts kaufen, die Modelle kann man einfach runterladen und als Server zur Verfügung stellen
Die Prompts werden nicht innerhalb von Millisekunden verarbeitet, also wird die Warteschlange entsprechend lang sein.
Hast du einen einigermaßen schnellen PC und selbst mal ein KI-Modell laufen lassen? Dann siehst du wie schnell sowas selbst bei nur einem User in die Knie geht.
Die Aussage, der Mac Mini habe "gar keine GPU", ist technisch nicht ganz korrekt. Apple Silicon nutzt Unified Memory. Das bedeutet, die 24 GB RAM des Mac Mini sind gleichzeitig VRAM.
Wer 100 gleichzeitige User will, für den ist der Mac Mini tatsächlich das falsche Werkzeug, dafür ist im Angebot der KI-PC vorgesehen.
Wir werden mal das ausprobieren. Ich kann anschließend die Erfahrungen hier teilen. Die Schule hat ingesamt um die 400 Schüler.
Ja, genau...wenn ein Schüler eine entsprechende Anfrage stellt. Nur machen das für den sinnvollen Unterrichtseinsatz ziemlich viele Schüler gleichzeitig und spätestens dann wird das ganze sehr grenzwertig. Wie man auf 16 GB RAM 100 Nutzer sinnvoll versorgen möchte, erschließt sich mir nicht wirklich.
Ein Mac Mini mit 16GB oder 24GB RAM kann etwa 5 bis 10 Anfragen wirklich parallel (also in derselben Millisekunde) verarbeiten, ohne dass die Antwortzeit spürbar in die Knie geht. Da der Mac mit ca. 45 Wörtern pro Sekunde antwortet, ist eine Anfrage oft nach 2–3 Sekunden fertig. Der "Sende-Platz" wird also extrem schnell wieder frei.
Wenn wirklich 100 Leute exakt im gleichen Moment auf "Senden" drücken, bildet der Server eine Warteschlange (Queue). Die Schüler auf Platz 80 bis 100 müssten dann ein paar Sekunden warten, bis sie an der Reihe sind.
Habt ihr zu viel Geld oder willst du nur kleine Modelle verwenden, die keine brauchbaren Ergebnisse liefern? Einen eigenen, gut funktionierenden LLM-Server zu betreiben wird sich keine Schule leisten können.
Folgende Szenarien möglich
Mac Mini (16 GB RAM) (Kosten ca. 800 Euro)
Bis 100 Nutzer
KI Software vorinstalliert 2 KI-Modelle vorgeladen
oder
Mac Mini (24 GB RAM) (Kosten ca. 1000 Euro)
Bis 300 Nutzer
KI Software vorinstalliert 4 KI-Modelle vorgeladen
oder
KI-PC mit NVIDIA GPU (Kosten ca. 2500 Euro)
500+ Nutzer
64 GB RAM KI vorinstalliert 6 KI-Modelle (inkl. grosse)
Ein Mac Mini mit einem M2 oder M4 Chip verbraucht im normalen Betrieb tatsächlich nur zwischen 5 und 20 Watt.
Der KI-PC verursacht deutlich höhere Stromkosten als die 15-Watt-Variante (Mac Mini), da er für die großen KI-Modelle eine leistungsstarke NVIDIA-Grafikkarte benötigt. Wenn ein Schüler eine komplexe Anfrage an das 70B-Modell stellt, zieht allein die Grafikkarte ca. 180W bis 320W. Das gesamte System liegt dann bei etwa 300 bis 450 Watt. Wir schätzen hier auf ca. 2 Euro Kosten pro Tag für Strom.
Alles anzeigen
Weil telly, F13, und wie sie alle heißen, so gut sind gibt mein Schulträger Geld für eine privatwirtschaftliche KI-Bildungsplattform aus (Fobizz), die natürlich verspricht sich an die DSGVO zu halten. Ehrenwort.
Firmen wie diese haben das Spiel einfach verstanden: Hauptsache irgendwiedigitalKI in der Außenwirkung!
So bekam unsere Schule einen Preis für unser digitales Engagement, inklusive Urkunde und Grafiken, die man auf der Schul-Internetseite einbauen kann.
Wer den Preis verliehen hat? Natürlich Fobizz selbst!
Da bei uns so gut wie niemand deren Angebot nutzt habe ich mal nachgefragt was die Kriterien dafür sind, dass man von denen fürs digitale Engagement ausgezeichnet wird. Die Antwort war leider nichtssagend - womöglich mit KI erstellt, wer weiß.
hmm.. und der Grund für die Nichtnutzung sind fehlende Anwendungsfälle oder Unzufriedenheit mit den Ergebnissen?
Kann man das so aufsetzten, dass die KI während der Unterrichts-/Arbeitszeit für die Benutzer arbeitet und beispielsweise nachts dann selber weiterlernt?
Ein lokales Modell wie Llama oder Mistral lernt nicht automatisch durch jedes Gespräch dazu. Wenn die KI einfach so im Hintergrund alles Gelernte sofort abspeichert, besteht die Gefahr, dass sie „halluziniert“ oder falsches Wissen von Schülern übernimmt
Man kann die KI nachts mit neuem Futter (PDFs, Dokumente) automatisch füttern, die es dann am nächsten Tag perfekt beherrscht.
Ich müsste hier genauer fragen. Bezieht sich das Lernen auf den schulischen Kontext z. B. besseres Verständnis von zuvor erstellen Aufgaben für den Unterricht oder ein generelles Update?
Beides ist grundsätzlich möglich, aber der Ansatz unterscheidet sich ein wenig.
Ich habe mich deshalb auch mal ein bisschen eingelesen, weil ich unsicher war, ob wirklich nur eine „private“ KI der richtige Weg ist.
So wie ich es jetzt verstehe, gibt es ja mehrere Ansätze: die offiziellen Lösungen wie telli, dann normale KI mit Vorsicht (also ohne personenbezogene Daten) und die komplett lokalen Systeme, die aber wohl eher selten sind.
Ich bin da ehrlich gesagt noch etwas vorsichtig und versuche gerade, ein Gefühl dafür zu bekommen.
Wie macht ihr das aktuell?
Ich tausche mich gerade mit einem Schulleiter aus bzgl. einer privaten KI. Ich habe das IT Wissen hierfür.
Der Gedanke wäre, einen eigenen KI Rechner zu nutzen, den wir vorab mit der Software aufsetzen und diesen dann an das bestehende Schulnetzwerk anbinden. Die KI greift auf lokale Modelle von Llma und Mistral. Per VPN Verbindung kann dann hierauf zugegriffen werden. Bei Bedarf kann die KI auch auf die Schuldatenbank zugreifen, um Verwaltungsaufgaben zu automatisieren.
Welche Unklarheiten hast du genau?
Viel Erfolg im weiteren Verlauf
Was heißt "fehlt". Aber ich fände es schon sinnvoll, wenn telli bei einer Abfrage zum aktuellen Bundeskanzler in Deutschland nicht mehr Olaf Scholz sondern Friedrich Merz angeben würde.
Ok verstehe. Dann ist vermutlich das Modell noch nicht mit den aktuellen Daten versehen. Wenn einmal in der Woche, ein automatisches Update mit aktuellen Informationen gemacht werden könnte, die für die Bildung wichtig wäre, ist das schonmal ein Pluspunkt oder?
Soweit ich weiß, kann telli nicht auf Dateien außerhalb der Chat Area zugreifen und diese bearbeiten? Also Dokumente verschieben, formatieren oder Emails mit Anhang senden. Wäre das für euch eine plausible Anwendungsfälle? Sodass man bisschen mehr Automatisierung inkludiert?
Danke!
An diejenigen gerichtet, die mit telli arbeiten.. seid ihr mit den Ergebnissen zufrienden? GIbt es etwas, was euch fehlt?
Das ist nicht der einzige Weg. Die DSGVO schreibt nicht vor, dass grundsätzlich alle Daten nur auf schulinternen Servern laufen dürfen. Durch Anonymisierung der Nutzer und konsequenten Verzicht auf personenbezogene Daten lässt sich bereits eine Menge erreichen.
Danke!
Hallo zusammen,
mich würde interessieren, ob es Schulen gibt, die bereits eine private KI haben? Sprich, die Daten die abgesendet werden, bleiben "in der Schule" bzw. auf dem eigenen Server.
Das ist der einzige Weg, DSGVO konform zu. bleiben, soweit ich weiß? Ansonsten werden die Daten immer nach "außen" gesendet.
Hat hier jemand bereits Erfahrung mit dem Testen einer privaten KI? Für welche Anwendungsfälle wird das genutzt?
Grüße
Ich sehe das auch kritisch. Auch wenn der Vergleich hinkt und es in Schule mit hoher Sicherheit immer eine Art Kanon von Pflichtinhalten geben wird, der in einer bestimmten Zeitspanne zu bearbeiten ist, kann man an der Entwicklung von Videospielen ganz gut nachverfolgen, worin die Gefahr von Belohnungssystem liegt.
Während diese früher um ihrer selbst Willen und zur Entspannung gespielt wurden und man jederzeit unterbrechen konnte (Ja, hier hinkt der Vergleich zum Unterricht), hat gerade die Einführung von Mechaniken wie Daily Quests, Erfahrungsstufen im Vergleich zu anderen usw. dazu geführt, dass sich "Spielen" eher nach Stress und Arbeit (kurz: einem Hamsterrad) anfühlt. Am Ende spielt man nicht mehr des Spaßes am Spiel wegen, sondern zugunsten des Fortschritts im Wettbewerb mit anderen. Das macht aber gerade keinen Spaß mehr, wenn man mal ehrlich zu sich selbst ist. Ich mache inzwischen einen möglichst großen Bogen um derartige Mechaniken und möchte sie auch nicht im Unterricht sehen.
Danke fürs Feedback!
Es ist demnach nur spielerisch, wenn ich es möglichst oft im Unterricht und in verschiedenen Fächern nutze. Nur dadurch erlangen die Schüler Erfahrungspunkte und können sich so Hochleveln.
Damit ist das Preismodell dann auch schon geklärt. Keine oder niedrige Einstiegskosten, die mit erreichen höherer Level ebenfalls steigen.
Genau
Was mir noch nicht klar ist, spielen da eine Klasse in Gruppen gegeneinander oder alle einer Schule oder verschiedene Gruppen von verschiedenen Schulen?
Hi,
Challenges können für eine Klasse erstellt werden oder für die ganze Schule, wenn es beispielsweise Aktionswochen gibt. Denkbar wäre natürlich auch schulübergreifend, aber das wäre erstmal Zukunftsmusik.
Ich sehe da gar kein Spiel.
Es gibt eine Aufgabe (jetzt „Challenge“ genannt) und eine Abgabefrist.
Wo ist da das Spiel? Eigentlich ist es nur eine Verpackung.Dass am Ende ein Abstimmungssystem die Note bestimmt oder die Bewertung übernimmt, finde ich diskussionswürdig.
Hmm.. das Spielerische entsteht dadurch, dass Abzeichen gewonnen werden und das Profil quasi hochgestuft wird, sofern eine Challenge gewonnen wird. Je mehr "Experience-Points" man sammelt, umso mehr kann man auch an Challenges teilnehmen, die gewisse Erfahrungspunkte verlangen.
Und das mit dem Abstimmungssystem muss zunächst gar keinen Einfluss auf die Benotung haben. Die Idee wäre das als komplementäres digitales Werkzeug einzuführen. Die Lehrkräfte können schauen, wie die Interaktion mit der Plattform erfolgt und welche Bereitschaft von den Schülern ausgeht.
Was sollte die Teilnehmer daran hindern die Aufgaben mit einer KI zu lösen? Der Prompt ist ja schon gegeben:
"Erstelle ein 3-minütiges Dialogvideo auf English über das Bestellen von Essen in einem Restaurant"
Noch etwas ergänzen:
"Das Video soll dem Sprachniveaus der 7. Klasse einer Gesamtschule in NRW entsprechen. Es sollen 2 Mädchen und ein Junge sprechen und sich über die Speisekarte eines neuen Burger-Restaurant austauschen. Die drei sollen britisches Englisch sprechen."
Schon ist das Video fertig.
Hi Einer, danke für die Rückmeldung. Es gibt hier viele Lösungen, in erster Linie hängt das von der Challenge ab
Challenges können tatsächlich vielseitig verwendet werden und in Zusammenarbeit mit Lehrkräften und Schulen, sind Fragestellungen auf dieser technischer Ebene definitiv lösbar. Hieran soll es nicht scheinen..
Es geht mehr um dem Mehrwert, was das spielerische Lernen angeht. Ist dieser für dich nach der Beantwortung deiner Fragen erkennbar?
Grüße gehen raus
Also quasi eine Art "Kahoot", das über KI läuft?
Hi Humblebee,
Kahoot geht mehr in Richtung "Quizes", zumindest vermehrt in diese Richtung. Mit Challenges habe ich einen anderen Ansatz.
Die Webseite ist aktuell im Entwicklungsmodus, vielleicht hilft der Link unten etwas mehr
https://delgado-school-app.vercel.app/
Wenn du auf "Demo ansehen" klickst, siehst du paar Beispiele für Challenges und wie sie aufgebaut sind 
Ich verstehe nicht, worin ein Mehrwert aus pädagogischer oder fachlicher Sicht besteht, wenn die SuS die Aufgabe von der KI erledigen lassen sollen und dann nur abgeben. Oder verstehe ich das Konzept falsch?
Hi Joker13,
ne ne, die Aufgabe wird nicht von der KI gelöst.
Die KI wird dazu unter Anderem dazu verwendet, für die Schüler die Challenges zu erstellen (die Lehrkraft hat diese Option natürlich auch) oder nachdem Einreichen der Beiträge dazu genutzt, den Inhalt zu überprüfen.
Passt der Inhalt zu der eigentlichen Challenge-Beschreibung, dann ist das ok,
Ansonsten wird der Beitrag ablehnt, der Schüler bekommt ein Feedback warum der Inhalt abgelehnt wurde und bekommt die Möglichkeit, einen erneuten Post hochzuladen.
Liebe Güße
