Volete un vostro ChatGPT, in locale, offline, con i modelli che preferite, con dei personaggi con cui chattare e sfruttando la GPU?
Allora Oobabooga fa al caso vostro, oggi vedremo come installare questa Web UI che si prefigge di diventare la Automatic1111 della generazione di testo.
Su questa andremo poi a caricare il modello Vicuna, che secondo i suoi realizzatori da risultati simili al 90% a GPT4.

Link della guida

Oobabooga Web UI

ATTENZIONE: sono stati cambiati i file nello zip che scaricate da Git Hub, ora per avviare l’installazione bisogna eseguire start_windows.bat, per aggiornarla update_windows.bat e per eseguire la web UI cmd_windows.bat.
I flags vanno aggiunti nel file webui.py, qui di seguito un esempio (riconoscete la riga per il commento finale # put your flags here!):

def run_model(): os.chdir(“text-generation-webui”) run_cmd(“python server.py –chat –model-menu –auto-devices –cai-chat –wbits 4 –groupsize 128 –pre_layer 30 –gpu-memory 8 –no-cache”) # put your flags here!

Modello Vicuna

Comandi Git per creazione cartella Vicuna:

git lfs install
git clone https://huggingface.co/anon8231489123/vicuna-13b-GPTQ-4bit-128g

Tags per Vicuna:

--wbits 4 --groupsize 128

Tag per chi ha una scheda video con 8GB (variare il numero in base ai propri GB, più si alza e più verrà usata la CPU e la RAM di sistema):

--pre_layer 35

// Pagina Instagram di creazioni AI ǤΔŇĐΔŁΔŇĐ //

In qualità di Affiliato Amazon io ricevo un guadagno dagli acquisti idonei

Wishlist Amazon