ABA


"|חוויה| תחרות Hash Code אירופאית של גוגל"
גירסת הדפסה        
קבוצות דיון 20 פלוס נושא #23638 מנהל    סגן המנהל    מפקח   Winner    צל"ש   מומחה  
אשכול מספר 23638
The Slayer 
חבר מתאריך 29.4.03
7959 הודעות, 2 פידבק
   18:45   07.03.17   
אל הפורום  
  |חוויה| תחרות Hash Code אירופאית של גוגל  
 
   אני מניח שיש פה לא מעט אנשים מתחום ההייטק והמדעים ולכן החלטתי לשתף

לפני כשבועיים הייתה תחרות אירופאית של גוגל בה צריך לפתור בעייה אמיתית ב4 שעות בלבד
הגבוהים בתחרות עוברים להמשך תחרות בצרפת ושם כנראה מתמודדים על בעייה יותר מאתגרת

נרשמתי לתחרות עם עוד חבר וניסינו את מזלנו
היה תרגיל לדוגמא באתר שהיה אפשר להתאמן עליו אך לא ניסינו אותו
שלאחר מכן התברר שהתרגיל הזה היה יכול מאוד לחסוך לנו הרבה זמן ב4 שעות האלה

הביאו לנו תרגיל שצריך לעשות בו אופטימיזציה כך שנתון משתמשים שמבקשים קבצים מסויימים בכמות מסויימת. יש שרת ראשי שבו יש את כל הקבצים ויש עוד קאשים (שרתים קטנים ויותר מהירים). הזמן לשרת הראשי הוא גדול והזמן לקאשים הוא יותר מהיר לכל יוזר ולכל קאש יש זמן משלו בחיבור הספציפי. כל יוזר מחובר למספר מסויים של קאשים ולכל קאש יש הגבלת מקום כך שבסה"כ צריך למקם את הקבצים בקאשים ובכך לחסוך כמה שיותר זמן בבקשות הקבצים.
זאת בעייה שלדעתי לא ניתן לפתור מתמטית יש כאן הרבה גורמים שתלויים אחד בשני ובגלל זה כנראה לא היו קבוצות (אולי בודדות) שהצליחו לקבל את אותה התוצאה

בהתחלה הקבצים שהגשנו לא היו כלכך תקינים ועד שתיקנו והגשנו שוב לא הספקנו כלכך בזמן
יצא לנו מקום 1983 מתוך כ3000 קבוצות חחח
היו גם אנשים לידנו שלא הספיקו להגיש קובץ ואפילו כאלה שלא הצליחו לקרוא את הקבצים חח

כשחזרתי הבייתה ראיתי שהייתי יכול לקבל תוצאה הרבה יותר גבוהה ממה שקיבלתי

לא יחסתי לכך חשיבות ולאחר מספר ימים ראיתי שיש המשך לתחרות
50 ראשונים מהתחרות עלו לשלב הבא ויש עוד מקום ל20 קבוצות שכרגע הקבוצות מ51-70 נמצאות בהמתנה
כמובן ניצלתי את ההזמנות והמשכתי להגיש תוצאות

בהמשך התחרות השתתפו רק 1600 קבוצות אבל כנראה החלק האיכותי מהתחרות
הגשתי את הקבצים והייתי במקום 800 בערך
ואני שם לב שכמעט כל שעה אני יורד מקום כי מצליחים לשפר כל הזמן

המשכתי לעשות עוד כל מיני טריקים והצלחנו להגיע למקום 400 ושוב כל שעה אני יורד מקום חח
עשינו עוד שיפור הגענו ל380 וגם יורדים מקום

התחלנו לחשוב כבר איך אפשר לשפר עוד והרבה פעמים התוצאות המתקבלות הן פחות טובות
אז עשינו משהו ברמה הרבה יותר גבוהה כך שעשינו חישוב יותר כבד והרבה יותר אופטימלי הצלחנו להגיע לאיזו המקום ה100

מקום 100 זה די יפה אבל לא מספיק וגם בישראל יש קבוצות שעקפו אותנו
הבנו שהדרך הזאת היא כנראה הקרובה והתחלתי לרוץ על זה זה כבר היה ביום האחרון של התחרות יום ראשון ה5.3

אני רואה שהשיטות האלה עובדות והצלחנו פתאום לקפוץ ל97 92 88 84 72
רציתי להספיק עוד שיטה של אופטימיזציה שיכול להיות שהייתה עובדת ממש אבל לא הספקנו
בסוף סיימנו מקום 73 מתוך כ1600 ו3 בארץ
במקומות הגבוהים ההפרשים בין כל אחד היו מאוד צמודים לא כמו במקומות הנמוכים כך שכבר קשה מאוד לשפר
מעניין מאוד אילו שיטות ביצעו שם כי זה כבר הגיע לדעתי כמעט למקסימום

אז היה מאוד מעניין אולי שנה הבאה ילך יותר טוב
אם יש כאן מישהו שגם השתתף אני אשמח לשמוע


                                שתף        
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

  האשכול     מחבר     תאריך כתיבה     מספר  
  מעניין מאוד Zeet3x  07.03.17 22:44 1
     השתמשתי בעיקר בכלים מהלימודים The Slayer  08.03.17 00:06 2
  מגניב, תמיד זה נראה מהצד שזה מתאים בעיקר jojofin 08.03.17 00:23 3
     נתחיל מזה שהסביבת עבודה הייתה מטלב The Slayer  08.03.17 21:13 4
         מעניין jojofin 09.03.17 11:48 6
  מרשים ומאוד מעניין, תודה אורי  08.03.17 21:23 5
  נשמע ממש ממש מעניין, הייתי ממש שמח לקרוא פוסט טכני יותר כובען  09.03.17 16:02 7
     האמת שלא הבנתי למה אתה מתכוון The Slayer  10.03.17 11:32 10
  כל הכבוד כריש 10.03.17 09:04 8
  תודה על הפוסט כמה עוד 10.03.17 09:32 9
  תודה לכולם על הפרגון, תרגישו חפשי לשאול אפשר גם בפרטי. The Slayer  10.03.17 11:33 11

       
Zeet3x  לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 14.2.12
9976 הודעות, 24 פידבק
   22:44   07.03.17   
אל הפורום  
  1. מעניין מאוד  
בתגובה להודעה מספר 0
 
   השתמשת בכלים שלמדת בלימודים? או בכלים שדווקא יצא לך להתעסק איתם בתעשיה?
@The Slayer@


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
The Slayer 
חבר מתאריך 29.4.03
7959 הודעות, 2 פידבק
   00:06   08.03.17   
אל הפורום  
  2. השתמשתי בעיקר בכלים מהלימודים  
בתגובה להודעה מספר 1
 
   כלים בלימודים נותנים יותר ידע
התעשייה נותנת בעיקר ניסיון
אבל כל הניסיון לא שווה הרבה אם אין לך ידע

אני חושב שהלימודים נתנו לי הרבה יותר ממה שאני מתעסק כרגע
אבל מן הסתם בלימודים הרבה צריך ללמוד לבד כי לא באמת מלמדים אותך

כמובן כל זה תלוי מה התפקיד שלך ובמה אתה רוצה להתעסק
בהרבה מן העבודות בתעשייה לא צריך הרבה ידע והניסיון משחק את התפקיד


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
jojofin
חבר מתאריך 7.6.11
876 הודעות
   00:23   08.03.17   
אל הפורום  
  3. מגניב, תמיד זה נראה מהצד שזה מתאים בעיקר  
בתגובה להודעה מספר 0
 
   לאנשים עם רגע חזק במדמ"ח, אבל הבנתי שיש לנו רקע דומה אז טוב לדעת שכדאי לבדוק את זה להבא

באיזה כלים למשל יצא לך להשתמש שם?


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
The Slayer 
חבר מתאריך 29.4.03
7959 הודעות, 2 פידבק
   21:13   08.03.17   
אל הפורום  
  4. נתחיל מזה שהסביבת עבודה הייתה מטלב  
בתגובה להודעה מספר 3
 
   אני חושב שזה הכי נח כי אפשר לעשות כל מיני פעולות וקטוריות שהיה מאוד נח
ראיתי שם אנשים גם מתעשייה וניהול שבאו עם eclipse לא יודע אם זה עזר להם

בבעיה הזו היה צריך למצוא מקסימום
בהתחלה חיפשתי היכן יש בקשות יותר גדולות ולשים את זה בקאש הכי מהיר
ואז הוספתי שאם אין מקום בקאש אז ימלא בקאש המהיר הבא
זה לא נתן תוצאות טובות כי מגיעים בקלות לfull capcity כך שחייב משהו יותר מתוחכם

הבעייה שהם הביאו קבצים קטנים וקובץ אחד גדול כך ששיטה שעובדת טוב בקובץ מסויים לא תעבוד בקובץ אחר בצורה טובה
ובקובץ הגדול השיטה הזאת של החיפוש עבדה לי על מחשב רגיל בערך 20 דקות
אז בדקתי וראיתי שבקובץ הגדול יש 1000 קאשים ורב היוזרים מחוברים אפילו למעל 700 קאשים כך שחיפוש כזה מאוד איטי
עבדתי קצת בצורה הסתברותית שאם שמתי קובץ בקאש מסויים ומחוברים אליו מעל 70 אחוז מהיוזרים אני יכול למחוק אותו מכל הבקשות ולהניח שמי שיחפש את הקובץ סיכוי טוב שהוא ימצא אותו
זה שיפר לי תוצאות וגם הפעולה על הקובץ לקחה כ2 דקות

לשאר הקבצים כבר הכנתי מטריצה שמציגה את כל האפשרויות עם קצת משחקים של משקלים מסויימים כלומר לתת עדיפות לקובץ ששוקל פחות וליוזרים שמחוברים ליותר קאשים ושם באמת הצלחתי לשפר
הבעייה בקובץ הגדול שלא יכולנו כלכך לעשות את זה כי המטריצה מצריכה מעל 20 גיגה ראם ועל מחשב רגיל זה לא אפשרי גם אם אני עובד בטיפוס של סינגל פרסישן

חבר שלי שם את זה על שרת באוניברסיטה ועשינו קצת יעילות של parallel והגענו לתוצאות האלה

כל מיני שיטות רנדומליות וברוט פורס ממש לא עבדו
ולא חשבתי ללכת לכיוון של למידה כי אין פה כלכך אפשר רק לחפש למשקל את זה
רק קצת דברים הסתברותיים לא ברמה כלכך גבוהה
ההבדל ביני למקום הראשון הוא בערך 1 אחוז מהתוצאה שקיבלנו
מעניין אותי אם זה גם מה שהם עשו והריצו על שרתים או שממש הצליחו למצוא שיטה טובה
מישהו אמר לי שיש כאלה ששוכרים מחשבים עם כח עצום לחישובים כאלה
אני בטוח שהאנשים שם לא פראיירים


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
jojofin
חבר מתאריך 7.6.11
876 הודעות
   11:48   09.03.17   
אל הפורום  
  6. מעניין  
בתגובה להודעה מספר 4
 
   יכול להיות שאנשים שם השתמשו בAWS ודומיו...


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
אורי 
חבר מתאריך 9.7.12
20459 הודעות
   21:23   08.03.17   
אל הפורום  
  5. מרשים ומאוד מעניין, תודה  
בתגובה להודעה מספר 0
 
  


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
כובען  לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 2.3.10
24350 הודעות, 21 פידבק
   16:02   09.03.17   
אל הפורום  
  7. נשמע ממש ממש מעניין, הייתי ממש שמח לקרוא פוסט טכני יותר  
בתגובה להודעה מספר 0
 
למשל ב-r/programming או hackernews.

מה דעתך? יש לך זמן לכתוב?


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
The Slayer 
חבר מתאריך 29.4.03
7959 הודעות, 2 פידבק
   11:32   10.03.17   
אל הפורום  
  10. האמת שלא הבנתי למה אתה מתכוון  
בתגובה להודעה מספר 7
 
   התרגיל שהם הביאו אמור לדמות את האחסון של סרטונים ביוטיוב
התרגיל חפשי ברשת
https://rotter.name/User_files/nor/58c2728453ba1ed3.pdf

מבחינת הקוד זה בערך 100 שורות קוד במטלב לפחות מה שיצא לי


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
כריש
חבר מתאריך 24.3.02
2360 הודעות
   09:04   10.03.17   
אל הפורום  
  8. כל הכבוד  
בתגובה להודעה מספר 0
 


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
כמה עוד לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 18.11.09
234 הודעות, 11 פידבק
   09:32   10.03.17   
אל הפורום  
  9. תודה על הפוסט  
בתגובה להודעה מספר 0
 
  


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
The Slayer 
חבר מתאריך 29.4.03
7959 הודעות, 2 פידבק
   11:33   10.03.17   
אל הפורום  
  11. תודה לכולם על הפרגון, תרגישו חפשי לשאול אפשר גם בפרטי.  
בתגובה להודעה מספר 0
 
  


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

תגובה מהירה  למכתב מספר: 
 
___________________________________________________________________

___________________________________________________________________
למנהלים:  נעל | תייק בארכיון | מחק | העבר לפורום אחר | מחק תגובות | עגן אשכול
       



© כל הזכויות שמורות ל-רוטר.נט בע"מ rotter.net