[Verprida]

Hallo zusammen

Ich möchte meinen alten PC mit einer Grafikkarte aufrüsten, so dass ich LLM's betreiben kann. Was für LLM's? Z.B. diese hier:
https://github.com/m.../llm-perf-bench

Geeignet dafür sind gemäss https://i0.wp.com/ti...tions.png?ssl=1 folgende Grafikkarten:
RTX-4090
RTX-3090
RTX-4080
RTX-4070
RTX-2080
RTX-3060

Fragen:
1) Könnte ich alle diese Grafikkarten in meinen PC einbaue? Im Sinne, dass diese zu meinem Motherboard passen?
Ein Problem, das ich sehe ist folgendes: Mein PC hat ein Netzteil für 320W. Wenn ich die volle Power der Grafikkarte nutzen wollte, bräuchte ich wohl ein stärkeres Netzteil.

Deshalb gehe ich davon aus, dass man die Grafikkarte irgendwie drosseln müsste. Kann man das?
In diesem Fall würden wohl die besseren Grafikarten trotzdem mehr leisten als die schlechteren. Wenn ich z.B. die Grafikkarten so drosseln würde, dass sie nur 200W benötigen, dann würde wohl eine RTX-4090 trotzdem mehr Tokens pro Sekunde liefern, als eine RTX-3060 (?)

Hier ist mein PC: PC HP 600 G1 Tower:
https://icecat.pt/p/...r-19339070.html

Allerdings habe ich 16 GB RAM und total 2.5TB HD und ich betreibe ihn mit Linux.

Antworten würde mich freuen. Besten Dank.

Dieser Beitrag wurde von Verprida bearbeitet: 28. August 2023 - 13:05

[pcfan]

Mit einem 320 Watt Netzteil würde ich bezweifeln, dass irgendeine von den Karten stabil läuft.

Außer vielleicht die 3060 oder 4070, aber selbst das stelle ich in Frage.

Ich habe ne 3080 mit nem 650 Watt Netzteil und das ist schon ENG am Limit.

Drosseln geht vielleicht schon, mit z.B. Afterburner und dann das Power Limit MASSIV nach unten ziehen, aber dann würde man einen Batzen Leistung verschenken.

Nen neues Netzteil mit 700Watt Aufwärts ist jetzt im Vergleich zu den Karten nicht so teuer, ob das in das Gehäuse passt, kann ich nicht sagen.

Vom Mainboard her GIBT es einen PCIe x16 slot laut dem Datenblatt, also da würde die Karte reinpassen.
Aber gerade die 80 er und 90 er sind schon ziemlich groß, da scheitert es womöglich am Gehäuse, welches einfach zu klein ist.

Falls du trotzdem unbedingt eine Karte willst, könntest du ein PCIe extender Kabel verwenden und die Karte außerhalb des Gehäuses betreiben, als "Bastelbude".

Aber toll wäre das nicht.
Du kannst ja mal messen, wie viel PLatz im Gehäuse ist.

Die RTX3060 wäre mindestens 276 mm lang, also ca. 28 cm gerundet.
Die anderen dürften alle nochmal etwas länger sein.

Außerdem müssten neben dem PCIe Slot mindestens noch 2 zusätztzliche Slots frei sein, weil keine von den Karten dünner als 2,5 Slots sein dürfte, sonst passt die Karte nicht.


Wie gesagt das PLatzproblem sollte sich mit nem Extender / Riser hinbasteln lassen, aber das Netzteil solltest du auf jeden Fall tauschen.


Der PC war nie für so eine heftige Graka gedacht.

Fazit: 4070 oder 3060 passen am ehesten und sind auch etwas günstiger.
Aber eine gebrauchte 2080 er Karte wäre vielleicht einen Blick wert.


die leistungsstärkeren und teureren Karten würde ich hier nicht empfehlen.
Wenn du wirklich diese heftige Leistung brauchst, willst du vielleicht auch gleich einen neuen PC drumrum haben.

Netzteil UNBEDINGT tauschen.

Dieser Beitrag wurde von pcfan bearbeitet: 28. August 2023 - 14:05

[Verprida]

Danke für den Hinweis mit dem Netzteil.
Netzteile scheint es ja günstig zum Ersteigern zu geben:


Allerdings verwirrt es mich, dass das eine so lang ist. Muss man beim Netzteil irgendetwas spezielles beachten? Oder reicht es auf die Watt-Zahl zu schauen?

Platzmässig könnte mein Netzteil etwa 26cm lang sein.



Danke für den Hinweis der Grafikkartengrösse.
Für die Grafikkarte habe ich etwa 23-24cm Platz, da rechts davon dann bereits die Halter für die Festplatten sind:


Es scheint aber auch etwas weniger lange Grafikkarten zu geben, mit nur 2 Lüftern (oder sind die nicht geeignet?):
https://www.toppreis...nchorProductNGF

Gemäss Datenblatt auf obiger Seite:
Kartenlänge: 235 mm

[pcfan]

Wenn ich mir das Netzteil da so anschaue, dann sehen die Kabel schon komisch aus, die zum Mainboard gehen.
Ich habe den starken verdacht, dass es ein HP spezfisches ist und du da gar kein normales ATX Netzteil ranmachen kannst.
Zum Mainboard scheinen nur Ground und 12V zu gehen. ABer ich wette es entspricht auch nicht dem neuen 12V only Standard.

HP neigt EXTREM dazu alles proprietär zu machen, um den Kunden zu zwingen alles neu oder zumindest NUR von HP zu kaufen.
Dell macht das auch, darum meide ich die beiden wie der Teufel das Weihwasser.

Am Ende musst du wahrscheinlich schauen, ob HP ein passendes mit mehr Leistung hat. Oder dir ein gescheites System von einer Builder holen, welcher NORMALE Teile verbaut.

Ich sehe außerdem auch keinen PCIe Stecker am Netzeil und für die RTX Karten brauchen man in der Regel Minimum 2 davon.



Was die Kartenlänge angeht, bin ich vom Referenzdesign ausgegangen. Wenn du eine Karte findest, die du da von der Länge reinbekommst, sollte die passen und VERMUTLICH hat HP den x16 SLot nicht im Bios gesperrt, aber sicher bin ich mir da nicht.


Was auch möglich wäre, wäre die Graka mit einem externen Netzeil zu betreiben, bei dem das Grüne auf ein schwarzes Kabel gebrückt wird oder so, aber eine ORDENTLICHE Lösung wäre das auch nicht.

Vielleicht findest du ja eine Box für eine externe Graka, die du per riser Kabel neben den Rechner stellen kannst?



Ich bin aber der Meinung, dein HP System ist dafür einfach nicht geeignet und du solltest dir ein neues zulegen.

[Verprida]

Danke für den Tipp mit dem Netzteilanschluss.

Dieses ist mein aktuelles Netzteil:
https://www.cbo-do.d...-G1::73969.html

Dank des Hinweises mit den Netzteilanschlüssen habe ich noch folgende Homepage gefunden:
https://www.only4gam...hluss-erklaert/

Gemäss dieser Seite sieht also so aus, wie wenn ich aktuell nur Grafikkarten mit bis zu 75W betreiben kann. (Interessant)

Allerdings gibt es Sprachmodelle, die sogar mit einer "GTX 1650 ti (4GB)" funktionieren sollen:
https://github.com/m...c-llm/issues/15
15.6 Tokens/s sollten für mich reichen.

Gemäss https://www.videocar..._mega_page.html sieht so aus, als wenn die "GeForce GTX 1650" die beste Grafikkarte für 75W ist.


-Vorausgesetzt, ich interpretiere "TDP (W)" richtig. Ist das mit wie viel Watt die Grafikkarte versorgt werden muss?

-Oder könnte ich auch die "Radeon RX 7600S" in meinem Desktop PC betreiben, obwohl in der letzten Spalte steht "mobile"? Oder würde diese dann nicht in meinen PCIe passen?

Dieser Beitrag wurde von Verprida bearbeitet: 28. August 2023 - 21:17

[pcfan]

Die 75 Watt sollten sich darauf beziehen, dass es die maximale Leistung ist, die die Karte offiziell direkt aus dem Slot ziehen kann, ohne dass man ein extra Stomrkabel anschließt.
Stelle halt sicher, wenn du sie kaufst, dass die Karte wirklich ohne PCIe Stromanschluss funktioniert, aber soweit ich das sehe, ist das bei der Karte so vorgesehen, also solange es keine übertaktete Version ist oder so, klappt das.

Wenn du mit der Karte klar kommst, dann wäre das eine Möglichkeit.

Außer in dem relativ unwahrscheinlichen Fall, dass HP den Slot im BIOS gesperrt hat, aber ich glaube GANZ so weit gehen die noch nicht.

Theoretisch sollte das dann einfach plug and play sein.
Also Slot Cover entfernen, Karte sauber einstecken, Monitor anschließen, booten, Grafiktreiber installieren und fertig.

Es KANN sein, dass du den Monitor zuerst noch weiter am anderen Port lassen musst, um dann im BIOS einzustellen, welche Karte er verwenden soll, aber meistens hat eine "richtige" Karte Priorität von Haus aus vor der integrierten Grafik.

[Verprida]

Vielen Dank.