Kennt sich wer mit self hosted KI aus?

Ich stehe gerade im Konflikt mit Familienmitgliedern, die gerne mal KI Bilder oder sonst KI texte schreiben lassen wollen. Da sie meine Position verstehen haben sie mir angekündigt, sie wollen (in meinen Augen eher ominöse KI apps installieren) und ggf. sogar dafür zahlen, wenn ich kein Datenschutz technisch bessere self-hosting Lösung anbieten kann. (Die App wurde wohl von bekannten empfohlen)

Das Internet bietet wohl viel zum selber basteln an KI, aber keine fertige download and run Lösungen an.
Ich hätte Gamer Desktop Hardware, die ich nutzen könnte und möchte es daher gerne, auch wenn ich die Hardware Vorraussetzungen nicht optimal erfülle gerne mal Probieren.

Komme aber aktuell auf keinen grünen Zweig.

Habe ein KI-Addon aktuell schon bei manchen Instanzen laufen.
Lasse ich noch etwas “reifen”, dann würde es in den Addon-Center mit kommen :slight_smile:

1 „Gefällt mir“

Kann kannn ich das irgendwo zum testen herunterlsden?

anythingllm.zip (17,8 KB)

Benutzung auf eigene Gefahr, so läuft es bei ein paar Kunden aktuell :slight_smile:

Was für Hardwareanforderungen hat das AnythingLLM mit Ollama?

Bei einem VPS ohne GPU würde ich sagen am besten Minimum 16 GB RAM, wenn nicht sogar 32 GB.

Empfehlenswert wäre wahrscheinlich allerdings für KI eine Hardware mit GPU zu nehmen.