DeepSeek R1 Distill Qwen 7B (Q5_K_M)su CPU Only
Panoramica
DeepSeek R1 Distill Qwen 7B è un modello linguistico dense da 7.62B parametri di DeepSeek, con capacità di code, multilingual, thinking, tool-calls. Supporta una finestra di contesto fino a 131,072 token.
DeepSeek R1 Distill Qwen 7B e un trasformatore denso da 7,62 miliardi di parametri di DeepSeek, distillato dal modello di ragionamento R1 in un'architettura compatta basata su Qwen. Porta il ragionamento "chain-of-thought" e le capacita di pensiero nella classe dei 7B parametri, ottenendo risultati superiori alla sua categoria in compiti di matematica e logica. Rispetto ai modelli instruct 7B standard, offre un ragionamento strutturato notevolmente piu forte. Con una finestra di contesto da 128K e nove lingue supportate, funziona su una singola GPU consumer e si quantizza bene per un deployment self-hosted efficiente.
Con la quantizzazione Q5_K_M (livello di qualità medium), il modello pesa 5.07 GB. Questo supera i 0 GB di VRAM di CPU Only. L'inferenza è comunque possibile tramite scaricamento su CPU o caricamento mappato in memoria dal disco, ma con prestazioni notevolmente ridotte.
Una configurazione solo CPU senza accelerazione GPU. L'inferenza viene eseguita interamente sulla CPU, il che e notevolmente piu lento rispetto alle configurazioni con GPU, ma non richiede hardware specializzato. Prestazioni e dimensione massima del modello dipendono dalla RAM disponibile. Adatta a test, sviluppo o deployment dove non e disponibile una GPU.
Requisiti Hardware
| Dimensione del modello | 5.07 GB |
| VRAM disponibile | 0 GB |
| VRAM utilizzata | 0 GB |
| RAM di sistema | |
| RAM min richiesta | 5.1 GB |
| Livelli GPU | 0 / 28 |
| Dimensione del contesto | 131.072 |
| Backend | cpu |
| Flash attention | No |
| Lettura da disco | Sì |
Note sulle prestazioni
Distribuzione
Comando
helmfile --state-values-file <(curl -s https://www.prositronic.eu/values/deepseek-r1-distill-qwen-7b/q5_k_m/cpu.yaml) applyFile values.yaml
/values/deepseek-r1-distill-qwen-7b/q5_k_m/cpu.yaml
Caricamento valori…Domande frequenti
Quanta VRAM serve per DeepSeek R1 Distill Qwen 7B (Q5_K_M)?
La quantizzazione Q5_K_M di DeepSeek R1 Distill Qwen 7B richiede 5.07 GB. I 0 GB di VRAM di CPU Only sono insufficienti per i livelli GPU, quindi l'inferenza viene eseguita sulla CPU.
Posso eseguire DeepSeek R1 Distill Qwen 7B su CPU Only?
È possibile ma non consigliato. CPU Only non ha abbastanza VRAM per accelerare DeepSeek R1 Distill Qwen 7B (Q5_K_M), quindi l'inferenza si baserà su CPU e RAM di sistema.
Cos'è la quantizzazione?
La quantizzazione riduce la precisione numerica di un modello dal suo formato originale in virgola mobile a una rappresentazione più compatta. Questo riduce la dimensione del file e l'impronta VRAM, rendendo possibile eseguire modelli di grandi dimensioni su hardware consumer. Il compromesso è una leggera riduzione della qualità dell'output. Q5_K_M comprime DeepSeek R1 Distill Qwen 7B dalla sua dimensione originale a 5.07 GB.
Quale quantizzazione scegliere per DeepSeek R1 Distill Qwen 7B?
Q5_K_M è una quantizzazione di qualità media. I quant di qualità superiore (Q8, Q6) preservano maggiore precisione del modello ma necessitano di più VRAM. I quant inferiori (Q4, Q3, Q2) riducono l'uso di VRAM a scapito della qualità. Scegli in base al tuo hardware disponibile e ai requisiti di qualità.
Perché alcuni livelli vengono scaricati sulla CPU?
CPU Only ha 0 GB di VRAM, ma DeepSeek R1 Distill Qwen 7B (Q5_K_M) richiede circa 5.07 GB. Solo 0 dei 28 livelli entrano nella VRAM; i livelli rimanenti vengono eseguiti sulla CPU, che è più lenta ma funzionale.
Come eseguire DeepSeek R1 Distill Qwen 7B (Q5_K_M) con Ollama?
Esegui ollama run deepseek-r1:7b-qwen-distill-q5_k_m per avviare DeepSeek R1 Distill Qwen 7B (Q5_K_M). Ollama scarica automaticamente i pesi del modello al primo avvio.