@ankoeln @muellertadzio Ein mglw. relevanter LLM-Skill mag das selber-Hosten auf eigener Hardware sein. Geht auch für Schönschreibtools.
Dabei helfe ich im Sinne der von Herrn Matzat geforderten "Auseinandersetzung mit der Technologie" gerne, denn mit dem Punkt [wir sollten] "zugewandt, freundlich, hilfsbereit und geduldig agieren" hat er natürlich Recht.
@christian Ich habe mit einem Google Coral für #frigate angefangen, weil das wesentlich energieeffizienter war als auf CPU.
Dann läuft noch ein größeres Modell für object detection im #immich, auf CPU, ist schnell genug und nicht dauerhaft an.
Seit kurzem habe ich eine GTX 1050ti 4GB aufm Host (proxmox), die im docker verfügbar ist. Tut mit #ollama und #jellyfin fürs transcoden. Ist aber für größere Modelle nix, überlege auf irgendwas 12Gb+ VRAM zu gehen.
1/x
Nutzt jemand ein lokales LLM im #Homelab? Wenn ja, wie ist das Setup?
Überlege ein Minisforum PC mit einer NVIDIA A2000 zu beschaffen. Die Karte dann in PVE an eine VM für #Ollama durchreichen.
Möchte es für #HomeAssitant nutzen, ggf dann für weitere Apps.
As minhas experiências a construir um Assistente local com recurso ao Gemini :p
https://github.com/upmferraz/phantasma
If you want to use AI in DEVONthink, you can choose between server-based and local models. Whether it's for privacy reasons or just the novelty, running AI locally on your Mac may be something you're considering. But how does that work and what options are available? #devonthink #ollama #lmstudio #ai #artificialintelligence #llm https://www.devontechnologies.com/blog/20251111-local-ai-devonthink
Hab #PaperlessAI entdeckt. Scheint ähnlich wie #PaperlessGPT zu sein. Letzteres hat wohl Stärken bei OCR. Ersteres bei der Zuordnung von Tags und Titel. OCR nutze ich nicht.
Ich hab wegen des Ressourcenverbrauchs #ollama in den Ruhestand geschickt. Ich fand dafür #deepinfra. Dort kann man in der EU gehostete Modelle nutzen, womit die dsgvo greift.
Allerdings bekomme ich es nicht konfiguriert. Egal welche Kombination aus BaseURL und Modell ich nehme. Immer kommt 404 beim Speichern der Config.
Wichtige Befehle für n8n und ollama gehostet auf einem Server
https://www.chefblogger.me/2025/06/12/wichtige-befehle-fuer-n8n-und-ollama-gehostet-auf-einem-server/?utm_source=mastodon&utm_medium=social
#n8n #ollama
@peer @stefanmuelller
Mega! Welche #KI Modelle hast Du in welcher Software genutzt?
Meine Lieblingskombination ist #Ollama und #Pageassist Plugin in #Chrome.
Werde #gpt-oss und #gemma3 mal fragen, jeweils Modelle < 36 GB (wegen VRAM).
New Ollama Model Release!
Model: kimi-k2-thinking
https://ollama.com/library/kimi-k2-thinking
Wichtige Befehle für n8n und ollama gehostet auf einem Server
https://www.chefblogger.me/2025/06/12/wichtige-befehle-fuer-n8n-und-ollama-gehostet-auf-einem-server/?utm_source=mastodon&utm_medium=social
#n8n #ollama
@rena2019 man sollte schauen, dass #Ollama auch wirklich auf der GPU läuft. Auf meinem privaten Gerät musste ich feststellen, dass es die CPU benutzt, obwohl meine Radeon-Karte offiziell supportet wird. Vielleicht mal die Treiber updaten aber eigentlich will ich lieber bei der Version bleiben, die der HWE-Stack aus den Ubuntu-Repos mitbringt.
lokal KI ausprobieren? Ganz einfach. Du brauchst lediglich unter Linux die Software UV, Ollama und dann führst du folgende Shellbefehle aus
OLLAMA_HOST=0.0.0.0 ollama serve
DATA_DIR=~/.open-webui uvx --python 3.11 open-webui@latest serve
Unter localhost:8080 hast du dann openwebui.
Quick question to those who use a local Ollama install: is there a noticeable performance difference between a normal install through the package manager and a docker install of ollama. The Manjaro packages are a bit out of daten (Ollama is moving quite fast in the last two months) an dont work with the lates qwen3-vl.
#llm #ollama #selfhosting @homelab
Also mit dem letzten Update ist #Ollama auf meiner CPU richtig, richtig langsam geworden.
Ich probiere daher gerade mal LM Studio aus. Dort rennen meine lokalen LLMs wieder! Konnte sie gerade mit einem kleinen Python Skript aus Ollama importieren und musste sie nicht erneut herunterladen.
Started using Continue and Ollama for coding with a local #llm. Initially slow, but after switching to GLM4 it's now a worthy alternative to Cursor at no cost and without privacy concerns.
https://gotofritz.net/blog/2025-09-28-using-continue-and-ollama-locally/
Self-hosting AI LLMs
Looking to deploy #LLMs at the #edge (without handing your data to the #cloud)? Check out this #fullstack Edge #AI guide using #KVM, #openSUSE Leap, #K3s, #Longhorn, and #Ollama. From setup to multi-node scaling, it's all local, private, and #scalable. https://news.opensuse.org/2025/08/26/building-edge-ai-infrastructure-with-opensuse/
Today's blogpost goes over the use of #ragnar #ollama in #R for document summary, specifically health insurance payer policy.
Post: https://www.spsanderson.com/steveondata/posts/2025-10-29/
I started a little python project to take my ~20 years of #Flickr photos, categorize them and analyze the content using #ollama locally. So far the results are pretty good. Some hallucinations, but mostly useful content.
I'd be interested in knowing if others have tried this. What information has been useful to collect? Face identification is a big area my tool needs some work on. I want to group family/friends.
