ABA


"הצעת מחיר עבור שרת עם 4 כרטיסים 4090"
גירסת הדפסה        
קבוצות דיון חומרה, רשתות ואבטחת מידע נושא #26998 מנהל    סגן המנהל    מפקח   Winner    צל"ש   מומחה  
אשכול מספר 26998
banana-man  לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 1.7.02
23213 הודעות, 1 פידבק, 1 נקודות
   14:16   31.10.24   
אל הפורום  
  הצעת מחיר עבור שרת עם 4 כרטיסים 4090  
 
   היי חברים , אני צריך הצעת מחיר (עבור לקוח שלי) שרת עם 4 כרטיסים של 4090
האם יש כאן מישהו שמתעסק עם שרתים ויודע לתת לי פיתרון
rackmount Server

1) High-end single or dual Xeon CPUs (gold/platinum) with a total of at least 40 cores / 80 threads per machine. For example, a Xeon 8558P (single CPU has 48 cores / 96 threads).

2) 256 GB RAM

3) Fast 8TB SSD / NVME

4) 4090 GPU x4

תודה


                                שתף        
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

  האשכול     מחבר     תאריך כתיבה     מספר  
  בשביל מיינינג או AI? ארמנואיט 31.10.24 17:45 1
     AI banana-man  31.10.24 18:38 2
  אולי תנסה דרך digitalocean ראיתי שיש להם דברים חדשים עבור ai rccool 06.11.24 00:11 3
  מכתב The Boss  06.11.24 09:57 4
  תלחץ על הלקוח שלך ללכת פתרון ''ממוצר'' ולא ללכת פתרון מאולתר. MiniGonzo 09.11.24 12:17 5
  אם מדובר במערכת 24/7 עם 4 כרטיסי RTX 4090, חשוב לקחת בחשבון לא רק חום, אלא גם שי DimaMahshevim 02.02.25 15:19 6
  כנראה נובע מחוסר ידע ShPe 06.02.25 15:07 7

       
ארמנואיט
חבר מתאריך 4.8.20
607 הודעות, דרג אמינות חבר זה
   17:45   31.10.24   
אל הפורום  
  1. בשביל מיינינג או AI?  
בתגובה להודעה מספר 0
 
  


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
banana-man  לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 1.7.02
23213 הודעות, 1 פידבק, 1 נקודות
   18:38   31.10.24   
אל הפורום  
  2. AI  
בתגובה להודעה מספר 1
 
  


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
rccool
חבר מתאריך 22.12.13
96 הודעות
   00:11   06.11.24   
אל הפורום  
  3. אולי תנסה דרך digitalocean ראיתי שיש להם דברים חדשים עבור ai  
בתגובה להודעה מספר 0
 
  


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
The Boss  לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 14.9.08
9006 הודעות, 2 פידבק, 4 נקודות
   09:57   06.11.24   
אל הפורום  
  4. מכתב  
בתגובה להודעה מספר 0
 
   ערכתי לאחרונה בתאריך 06.11.24 בשעה 10:02 בברכה, The Boss
 
למה להשקיע בחומרה במקום בשירות?

השחקניות המובילות AWS, GCP מציעות התאמה אישית של מכונה עם כרטיסי מסך (גם יותר טובים בהרבה) ובתשלום לפי זמן שימוש. הנחה משמעותית להתחייבות לתקופה של שנה, הנחה גדולה לתקופה של 3 שנים. הנחה נוספת לתשלום מראש.
תמיד אפשר לשנות תצורה של זיכרון, מעבד, כרטיסי מסך, אכסון ועוד.


הכרטיסים האפשריים ב-GCP שיכולים להתקרב לביצועים של ארבעה RTX 4090 כוללים:

NVIDIA A100 – כרטיס עוצמתי מאוד שמתאים למשימות עיבוד מסיבי, כמו למידת מכונה, AI ומחשוב מדעי. במקרים רבים, כרטיס A100 אחד יכול לספק ביצועים שמקבילים לשניים עד שלושה כרטיסי 4090 במטלות חישוביות אינטנסיביות בזכות היכולת שלו לבצע חישובי FP16 ו-FP32 ברמה גבוהה.

NVIDIA H100 – זהו הכרטיס החדש ביותר מסדרת Hopper של NVIDIA ומציע ביצועים מרשימים במיוחד. במקרים רבים, כרטיס יחיד יכול להתקרב ואף לעלות על ארבעה כרטיסי 4090 בפלטפורמות של AI ומחשוב מקבילי כבד.

@banana-man@


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
MiniGonzo
חבר מתאריך 3.1.18
100 הודעות
   12:17   09.11.24   
אל הפורום  
  5. תלחץ על הלקוח שלך ללכת פתרון ''ממוצר'' ולא ללכת פתרון מאולתר.  
בתגובה להודעה מספר 0
 
   לאמור, שרת HP DL38X או שרת DELL PowerEdge R76XX עם כרטיסי סדרה A או H של NVIDIA.

4 כרטיסי 4090 עומדים לייצר חום יוצא דופן ששרת רגיל שלא תוכנן מראש כשרת GPU לא ידע לקרר.
מה שיקצר את חיי ה GPU (שמראש לא תוכננו לרוץ 24X7) ויחסל אותם די מהר.

לשם העניין, אנחנו בונים מערכת דומה (עם פחות GPU) על בסיס R7625 של DELL.


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
DimaMahshevim
חבר מתאריך 2.2.25
2 הודעות
   15:19   02.02.25   
אל הפורום  
  6. אם מדובר במערכת 24/7 עם 4 כרטיסי RTX 4090, חשוב לקחת בחשבון לא רק חום, אלא גם שי  
בתגובה להודעה מספר 0
 
   אם מדובר במערכת 24/7 עם 4 כרטיסי RTX 4090, חשוב לקחת בחשבון לא רק חום, אלא גם שיקולים נוספים:

1. כרטיסי RTX 4090 רגילים (Open-Air) מתחממים מאוד בשרתים, כי האוויר החם נשאר בתוך המארז. אבל 4090 Turbo (Blower-style) פותר את הבעיה בכך שהוא מוציא חום ישירות מחוץ למארז.
- חיסרון – הכרטיסים האלה רועשים מאוד והמניפות הבלואריות נשחקות מהר יותר תחת עומס גבוה.
- יתרון – הם מתאימים יותר לשרתים שבהם חשוב פינוי חום יעיל.

2. ספק כוח – גם עם כרטיסי Turbo, 4× 4090 דורשים לפחות 2400W עם ניהול נכון של חיבורי PCIe.
- ניתן גם להוסיף 2 ספקי כוח Hot-Swap של 2kW כדי לשפר יציבות ולהפחית סיכוני כשל.

3. קירור – אם בוחרים 4090 Turbo, יש לוודא שהשרת מספק זרימת אוויר מספקת למניעת התחממות יתר.

4. מגבלות טכנולוגיות – למרות ש-4× 4090 Turbo מספקים כוח חישובי גבוה, אין להם NVLink, מה שיכול להיות קריטי במשימות AI מסוימות בהן נדרש שיתוף זיכרון בין הכרטיסים.

5. אלטרנטיבות בענן – אם חשוב גמישות והרחבה, כדאי לבדוק AWS/GCP עם A100/H100, אבל אם חובה שרת פיזי, אז 4090 Turbo הוא פשרה טובה.

איזה סוג עומסי עבודה ירוצו על השרת? האם מדובר באימון (Training) של AI, אינפרנס (Inference) או משהו אחר?


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
ShPe
חבר מתאריך 14.9.08
5496 הודעות
   15:07   06.02.25   
אל הפורום  
  7. כנראה נובע מחוסר ידע  
בתגובה להודעה מספר 0
 
   אבל 4090 זה לא כרטיס שנועד להיות בשרתים

אם ללקוח אין בעיה של כסף
יש כרטיסים יעודיים לשרתים
L40S זה התחלה טובה
A100 או H100 זה כבר ליגה אחרת


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

תגובה מהירה  למכתב מספר: 
 
___________________________________________________________________

___________________________________________________________________
למנהלים:  נעל | תייק בארכיון | מחק | העבר לפורום אחר | מחק תגובות | עגן אשכול
       
דרג לפי חשיבות הנושא  דרג לפי חשיבות הנושא   



© כל הזכויות שמורות ל-רוטר.נט בע"מ rotter.net