הצעת מחיר עבור שרת עם 4 כרטיסים 4090

היי חברים , אני צריך הצעת מחיר (עבור לקוח שלי) שרת עם 4 כרטיסים של 4090
האם יש כאן מישהו שמתעסק עם שרתים ויודע לתת לי פיתרון
rackmount Server

1) High-end single or dual Xeon CPUs (gold/platinum) with a total of at least 40 cores / 80 threads per machine. For example, a Xeon 8558P (single CPU has 48 cores / 96 threads).

2) 256 GB RAM

3) Fast 8TB SSD / NVME

4) 4090 GPU x4

תודה

ארמנואיט

31.10.2417:45

1. בשביל מיינינג או AI?

בתגובה להודעה מספר 0

banana-man

31.10.2418:38

2. AI

בתגובה להודעה מספר 1

rccool

06.11.2400:11

3. אולי תנסה דרך digitalocean ראיתי שיש להם דברים חדשים עבור ai

בתגובה להודעה מספר 0

The Boss

06.11.2409:57

4. מכתב בתגובה להודעה מספר 0

ערכתי לאחרונה בתאריך 06.11.24 בשעה 10:02 בברכה, The Boss

למה להשקיע בחומרה במקום בשירות?

השחקניות המובילות AWS, GCP מציעות התאמה אישית של מכונה עם כרטיסי מסך (גם יותר טובים בהרבה) ובתשלום לפי זמן שימוש. הנחה משמעותית להתחייבות לתקופה של שנה, הנחה גדולה לתקופה של 3 שנים. הנחה נוספת לתשלום מראש.
תמיד אפשר לשנות תצורה של זיכרון, מעבד, כרטיסי מסך, אכסון ועוד.

הכרטיסים האפשריים ב-GCP שיכולים להתקרב לביצועים של ארבעה RTX 4090 כוללים:

NVIDIA A100 – כרטיס עוצמתי מאוד שמתאים למשימות עיבוד מסיבי, כמו למידת מכונה, AI ומחשוב מדעי. במקרים רבים, כרטיס A100 אחד יכול לספק ביצועים שמקבילים לשניים עד שלושה כרטיסי 4090 במטלות חישוביות אינטנסיביות בזכות היכולת שלו לבצע חישובי FP16 ו-FP32 ברמה גבוהה.

NVIDIA H100 – זהו הכרטיס החדש ביותר מסדרת Hopper של NVIDIA ומציע ביצועים מרשימים במיוחד. במקרים רבים, כרטיס יחיד יכול להתקרב ואף לעלות על ארבעה כרטיסי 4090 בפלטפורמות של AI ומחשוב מקבילי כבד.

@banana-man@

MiniGonzo

09.11.2412:17

5. תלחץ על הלקוח שלך ללכת פתרון ''ממוצר'' ולא ללכת פתרון מאולתר. בתגובה להודעה מספר 0

לאמור, שרת HP DL38X או שרת DELL PowerEdge R76XX עם כרטיסי סדרה A או H של NVIDIA.

4 כרטיסי 4090 עומדים לייצר חום יוצא דופן ששרת רגיל שלא תוכנן מראש כשרת GPU לא ידע לקרר.
מה שיקצר את חיי ה GPU (שמראש לא תוכננו לרוץ 24X7) ויחסל אותם די מהר.

לשם העניין, אנחנו בונים מערכת דומה (עם פחות GPU) על בסיס R7625 של DELL.

DimaMahshevim

02.02.2515:19

6. אם מדובר במערכת 24/7 עם 4 כרטיסי RTX 4090, חשוב לקחת בחשבון לא רק חום, אלא גם שי בתגובה להודעה מספר 0

אם מדובר במערכת 24/7 עם 4 כרטיסי RTX 4090, חשוב לקחת בחשבון לא רק חום, אלא גם שיקולים נוספים:

1. כרטיסי RTX 4090 רגילים (Open-Air) מתחממים מאוד בשרתים, כי האוויר החם נשאר בתוך המארז. אבל 4090 Turbo (Blower-style) פותר את הבעיה בכך שהוא מוציא חום ישירות מחוץ למארז.
- חיסרון – הכרטיסים האלה רועשים מאוד והמניפות הבלואריות נשחקות מהר יותר תחת עומס גבוה.
- יתרון – הם מתאימים יותר לשרתים שבהם חשוב פינוי חום יעיל.

2. ספק כוח – גם עם כרטיסי Turbo, 4× 4090 דורשים לפחות 2400W עם ניהול נכון של חיבורי PCIe.
- ניתן גם להוסיף 2 ספקי כוח Hot-Swap של 2kW כדי לשפר יציבות ולהפחית סיכוני כשל.

3. קירור – אם בוחרים 4090 Turbo, יש לוודא שהשרת מספק זרימת אוויר מספקת למניעת התחממות יתר.

4. מגבלות טכנולוגיות – למרות ש-4× 4090 Turbo מספקים כוח חישובי גבוה, אין להם NVLink, מה שיכול להיות קריטי במשימות AI מסוימות בהן נדרש שיתוף זיכרון בין הכרטיסים.

5. אלטרנטיבות בענן – אם חשוב גמישות והרחבה, כדאי לבדוק AWS/GCP עם A100/H100, אבל אם חובה שרת פיזי, אז 4090 Turbo הוא פשרה טובה.

איזה סוג עומסי עבודה ירוצו על השרת? האם מדובר באימון (Training) של AI, אינפרנס (Inference) או משהו אחר?

ShPe	06.02.2515:07

7. כנראה נובע מחוסר ידע בתגובה להודעה מספר 0

אבל 4090 זה לא כרטיס שנועד להיות בשרתים

אם ללקוח אין בעיה של כסף
יש כרטיסים יעודיים לשרתים
L40S זה התחלה טובה
A100 או H100 זה כבר ליגה אחרת

כותרת:
תוכן:
סמיילים:	הצג

כותרת:
תוכן:
סמיילים:	הצג

העבר לפורום:
סיבה: