Grazie a tutti per le preziose informazioni e per le ricerche svolte. Purtroppo i tempi per acquistare la 3090 usata che vi ho linkato qualche post fa sono molto stretti. Sarei quindi deciso a comprarla e a correre il rischio di non riuscire ad installarla nel server. In tal caso sono sicuro che se ne troverà un altro uso 
. Aspetto quindi un vostro eventuale ulteriore feedback e qualora non dovessi riceverlo procederò all’acquisto entro questa sera.
Ciao a tutti,
vi confermo che la 3090 è stata acquistata quindi:
Step 0DONE
Ci aggiorniamo per effettuare il primo sopralluogo in sede con la “cosa reale” in mano!
2 Mi Piace
Uhh, che bella.
Giusto ieri ho trovato questo progetto davvero interessante e con molto potenziale: https://chatdev.ai/
Ciao a tutti,
riporto di seguito un breve resoconto delle prove di “fit” della NVIDIA 3090 eseguite presso il Mittelab.
Abbiamo verificato che per installare la scheda su un Dell r720 occorre effettuare delle modifiche fisiche su entrambi i dispositivi. In particolare, potrebbe rendersi necessario rimuovere la plancia in plastica contenente le tre ventole. Si tratterebbe quindi di un intervento piuttosto invasivo che comunque potrebbe essere eventualmente reversibile.
L’opzione alternativa potrebbe essere quella di installare la scheda su un desktop, almeno per una prima fase di sperimentazione. Presso il Mittelab sono presenti due macchine che potrebbero fungere allo scopo. Una di queste è gestita da @Telespalla al quale chiediamo l’eventuale disponibilità 
.
Infine, su Subito sono in vendita dei desktop Ryzen spesso dotati di GPU meno voluminosa che potrebbe quindi essere installata sul server Dell, sostituendola con la 3090. Di seguito riporto il link di un paio di macchine con queste caratteristiche in vendita a Trieste (700 €).
A conti fatti, l’opzione desktop sembra la più pragmatica per iniziare la fase di sperimentazione.
Aspetto le vostre considerazioni!
Ciao,
Mi spiace sono arrivato che eri appena partito… Cq il computer che hai visto in sede ha su Win e lo usiamo per alcuni sw CAD… non serve molto ma quando serve di solito c’è urgenza. Ci sarebbe invece una mobo di un vecchio z210. Ho trovato ieri sera anche un SSD devo fare delle prove ma potrebbe andare. Come prestazioni dovrebbe essere un po meglio di quello che è montato in sede.
Che RAM monta? DDR3 abbiamo qualcosa in farm, DDR4 ne ho io a casa 16 GB, mi pare che in sede abbiamo qualche case vuoto, forse ci manca solo un alimentatore?
Ciao a tutti,
grazie alla preziosa collaborazione e grande disponibilità di @Telespalla, ieri si sono registrati dei progressi relativamente al progetto. Dopo aver verificato nuovamente la non installabilità della NVIDIA 3090 all’interno del Dell r720, si è deciso - anche in seguito a consultazione con altri soci - di procedere all’acquisto di un raiser PCI il cui ordine è stato evaso ieri stesso. L’idea è quindi quella di installare la scheda grafica all’esterno del server “compute” che di conseguenza verrà dislocato in cima allo stack in modo da garantire una buona areazione del dispositivo. Federico ha poi verificato che la potenza erogata dall’alimentatore del server fosse sufficiente a garantire la funzionalità della GPU (il produttore raccomanda una disponibilità di 750 W). Si rende tuttavia necessario costruire un cavo di alimentazione ad-hoc e anche di questo si occuperà Federico.
Purtroppo i tempi di consegna previsti per il raiser sono un po’ lunghi (~30.06) ma nel frattempo si può procedere con altri task che possono essere svolti in parallelo e che riporto nella prossima sezione. In particolare, chiedo ai soci con quali modalità potrebbe essere per me possibile accedere alla distribuzione Proxmox attiva sulla macchina “compute” in modo da creare una VM ed iniziare a configurare il SO che dovrà gestire il servizio di IA.
Passi successivi
- Spostare il server in cima
- Costruire il cavo di alimentazione
- Configurare i permessi di Proxmox per poter iniziare a predisporre la macchina virtuale per il servizio
Foto del DELL r720
2 Mi Piace
Ciao a tutti,
durante la sera di giovedì 10.10.2024 @Telespalla ed io (ma principalmente @Telespalla ) abbiamo effettuato gli spostamenti necessari nell’armadio dei server al fine di poter posizionare la scheda NVIDIA 3090 all’esterno del Dell r720 tramite raiser PCI. Lo spostamento è andato a buon fine ma la scheda non sembra essere stata rilevata dall’SO del server (non è nell’output di lspci). Le possibili cause che abbiamo ipotizzato sono:
- Insufficiente alimentazione
- Rottura del raiser per via dei vari attorciagliamenti che ha dovuto subire per uscire nella direzione giusta dal server
Passi successivi
- Verificare nuovamente i passaggi di installazione della scheda e riprovare a controllare i messaggi del kernel e l’output di
lspci - Riconsiderare la possibilità di montare la scheda su una macchina desktop
Immagini
Di seguito alcune immagini che documentano le operazioni.
1 Mi Piace
Avevo pensato anch’io a insufficiente alimentazione. Questo tipo di schede sono power-hungry, e non è raro che abbiano 2 o 3 power connector ausiliari, e senza non si attivano. Avete controllato sul manuale della scheda?
Il server ha due uscite di alimentazione, e la scheda video ha due ingressi.
Se seguiamo i datasheet di fatto avremmo bisogno di collegare entrambe.
Il problema è che provando a collegare una quadro k2000 il server va in errore e non fa il boot (controllerò lunedì che codice di errore restituisce in caso per documentare).
La quadro era precedentemente collegata ed era già stata configurata per essere passata a una VM. Collegandola con il riser smette di funzionare.
Le variabili sono ancora molte e reputo necessario fare ulteriori test.
Questa sera è stata raggiunta una pietra miliare per il progetto: la 3090 si è accesa, le ventole hanno girato e lspci l’ha rilevata!
Il contributo fondamentale è arrivato da @Samu che ha costruito il secondo cavo grazie al quale abbiamo potuto alimentare correttamente il dispositivo. @Telespalla ha poi provato a scaricare i driver NVIDIA su una macchina virtuale Windows giusto per escludere effetti collaterali dovuti ai driver NVIDIA per GNU/Linux. Purtroppo però la macchina non era aggiornata ed erano presenti i driver della precedente GPU motivo per cui non abbiamo potuto concludere il test sul sistema Microsoft.
Si è deciso di procedere ad un’installazione ex-novo di Windows in modo da partire da una configurazione nota ed escludere problematiche non dovute direttamente all’hardware.
Passi successivi
- Configurare una nuova macchina Windows
- Scaricare i driver proprietari NVIDIA
- Utilizzare un programma di benchmarking per assicurarsi che la GPU funzioni correttamente
- Costruire un case esterno da posizionare sopra al server
- Stabilizzare l’installazione dell’hardware
- Configurare una macchina GNU/Linux (personalmente pensavo a Rocky Linux per il supporto “nativo” di
podman) - Installare i driver proprietari NVIDIA su GNU/Linux
- Attivare il primo servizio LLM (per esempio
ollama) raggiungibile da VPN
Immagini
3 Mi Piace
Continuo con la mia attività di reporter () informandovi che ieri sera @Telespalla ha progettato il case per la scheda e mandato in stampa una bozza del primo pezzo. Il case è costituito infatti da due pezzi che verranno stampati separatamente per via delle dimensioni eccessive. Nel disegno si è cercato di lasciare libere le superfici interessate dal passaggio dei flussi d’aria e di sfruttare al meglio gli appoggi forniti dalla geometria della scheda. Per ottenere questo risultato è stata prima disegnata la scheda e quindi il case intorno ad essa. Se la bozza dovesse risultare soddisfacente si procederà con la bozza del secondo pezzo e quindi con la stampa finale in ASA.
Prossimi passi
- Terminare la stampa del case e posizionare la scheda sul server fissandola con del velcro
- Configurare una macchina Windows ed effettuare dei test con i driver Microsoft
- Configurare una macchina GNU/Linux (personalmente pensavo a Rocky Linux per il supporto “nativo” di
podman) - Installare i driver proprietari NVIDIA su GNU/Linux
- Attivare il primo servizio LLM (per esempio
ollama) raggiungibile da VPN
1 Mi Piace
Forse Fedora è meglio? In sede abbiamo Fedora sulla maggior parte delle cose
Certamente, pensavo a Rocky Linux perché ero curioso di provarlo. Ma se per coerenza vogliamo scegliere Fedora nessun problema.