רוטר - מה אתם יודעים על BIG DATA ? אשמח למידע בנושא

יומן פעילות	לוח שנה	מבזקי חדשות	תקנון	RSS	כותרות	כותרות לפי תגובה	ניקוי קוקיז	IP	להורדת אפליקציה
eBay	AliExpress	GearBest	Amazon	Booking	Kiwi	SkyScanner	Trip Advisor

"מה אתם יודעים על BIG DATA ? אשמח למידע בנושא"

גירסת הדפסה

קבוצות דיון 20 פלוס נושא #22717	מנהל סגן המנהל מפקח Winner צל"ש מומחה

אשכול מספר 22717

cohen1
חבר מתאריך 25.1.10
1010 הודעות

22:14 07.10.15

מה אתם יודעים על BIG DATA ? אשמח למידע בנושא

אני כלכלן במקצוע ומחפש להתקדם.
מרגיש קצת תקוע בתחום, עובד בזה כמעט 5 שנים.
אוטוטו מסיים תואר II ולא רואה איך זה מקדם אותי מקצועית.
מתעניין בעולם ה BIG DATA, יש לי קצת שאלות להתחלה -
1. האם זה מחייב לימודי מדמ"ח או הנדסת תעו"נ ? במידה ולא, איזה קורס מומלץ ?
2. אפשרויות תעסוקה בתחום ? מניח שקיימות דרישות מסוימות שכדאי להיערך אליהן מראש.
זה לעת התחלה.. אשמח לכל מידע רלוונטי נוסף בנושא!
תודה

שתף

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

האשכול	מחבר	תאריך כתיבה	מספר
ביג דטה	מיטוכונדריה	08.10.15 01:03	1
כלכלן זה יותר שווה .. נסה ללמוד להיות אנליסט	מיטוכונדריה	08.10.15 01:08	2
מה הכוונה נסה ללמוד להיות אנליסט ? אני רואה הרבה קווי דמיון בין כלכלן לאנליסט.	cohen1	08.10.15 08:07	3
אז תלמד SQL, מה הבעיה?	כובען	08.10.15 08:11	4
לימוד עצמי ברשת יכול ללכת או שזה מחייב לקחת קורס ?	cohen1	08.10.15 09:46	5
בכיף לימוד עצמי	yairts	09.10.15 12:57	9
כיום כאשר אומרים ביג דטא בדר״כ מתכוונים לפיתוח עם map-reduce (כגון האדופ)	ldan192	08.10.15 09:58	6
map reduce. במיוחד באדופ הוא שיטת הבסיס להבאת מידע	מיטוכונדריה	08.10.15 13:22	7
אתה מדבר שטויות .. עדיף שתעצור ותפסיק עם אותם שטויות	הרומני	10.10.15 11:39	14
לא נראה לי. לא סטרתי את מה שעידן כתב רק הוספתי	מיטוכונדריה	26.01.16 00:35	22
תלמד אתה חבוב.	הרומני	29.01.16 15:59	25
תודה לכולם על התגובה.. שורה תחתונה האם קורסים של DBA שמוצעים בשוק שווים משהו?	cohen1	09.10.15 09:06	8
לא נכון. תבדוק אם יש להם השמה	מיטוכונדריה	09.10.15 13:48	10
אני לא כל כך בעניינים של big data	fly	09.10.15 14:45	11
Big Data	zuka	10.10.15 00:10	12
דיברתי עם כמה חבר'ה מהתעשייה לגבי DBA, ממה שהבנתי מאד קשה להיכנס ללא ניסיון	cohen1	10.10.15 11:32	13
אממ	הרומני	10.10.15 11:42	15
עדיף לך ללמוד פיתוח אבל לדעתי עדיף java על פני #C.	zuka	10.10.15 23:13	17
איאפשר בלי זה...	ShocKi	10.10.15 22:39	16
ביג דאטה	VeNom	11.10.15 08:28	18
כתבה שחבר שלי כתב :	poseidon	26.01.16 00:13	21
אנסה לעזור לך לסכם את הדברים,	יוחאי	26.01.16 18:24	23
תתחיל מתכנות בסיסי ותראה אם אתה בכלל מתחבר לתחום הזה	TooBigToFail	26.01.16 23:46	24

מיטוכונדריה

חבר מתאריך 9.7.14
2325 הודעות, 4 פידבק

01:03 08.10.15

1. ביג דטה
בתגובה להודעה מספר 0

מדבר על מסדי נתונים שמקבלים מסה גדולה של מידע .
למשל ..
כמותי -שמירה של כל החיפושים המבוצעים באתר גוגל.
איכותי - כל הקלטות השיחות לשרות לקוחות הוט מאז שנוסדה .
המידע צריך לחזור למי ששואל עליו בפרק זמן סביר .
ביג דטה הוא בעצם דרך לתקשר באופן סביל עם כמות מידע אדירה .
למעשה קורס dba שמתייחס לביג דטה יכול להתאים .
כמו כן הרשת מלאה במידע על זה וגם מידע מקצועי מהיר.

נשלח ע"י הסלולרי

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

מיטוכונדריה

חבר מתאריך 9.7.14
2325 הודעות, 4 פידבק

01:08 08.10.15

2. כלכלן זה יותר שווה .. נסה ללמוד להיות אנליסט
בתגובה להודעה מספר 0

אנליסט תפקידו להביא מידע להנהלה על חתכים של כל מיני שאלות בהסתמך על מידע (שנמצא גם ב ביג דטה )

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

cohen1
חבר מתאריך 25.1.10
1010 הודעות

08:07 08.10.15

3. מה הכוונה נסה ללמוד להיות אנליסט ? אני רואה הרבה קווי דמיון בין כלכלן לאנליסט.
בתגובה להודעה מספר 2

היום אני מביא מידע להנהלה, מכל מיני בסיסי מידע אותם אני מפלח, מנתח ומסיק מסקנות.
במידה וקורס DBA הינו פרקטי ונלמדים בו מערכות אשר נעשות בהן שימוש בארגונים זה יכול להיות שילוב מעניין.

הבעיה שלי היא שאני לא יודע SQL, אני חושב שזה כן יכול לתרום לי במשרות בחוץ.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

כובען

חבר מתאריך 2.3.10
24350 הודעות, 21 פידבק

08:11 08.10.15

4. אז תלמד SQL, מה הבעיה?
בתגובה להודעה מספר 3

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

cohen1
חבר מתאריך 25.1.10
1010 הודעות

09:46 08.10.15

5. לימוד עצמי ברשת יכול ללכת או שזה מחייב לקחת קורס ?
בתגובה להודעה מספר 4

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

yairts
חבר מתאריך 10.7.03
40785 הודעות

12:57 09.10.15

9. בכיף לימוד עצמי
בתגובה להודעה מספר 5

נשלח ע"י הסלולרי

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

ldan192
חבר מתאריך 14.9.08
95119 הודעות

09:58 08.10.15

6. כיום כאשר אומרים ביג דטא בדר״כ מתכוונים לפיתוח עם map-reduce (כגון האדופ)
בתגובה להודעה מספר 0

ואימפלנטציות ״אלטרנטיביות״ ל-SQL שמשלבות map-reduce או טכנולוגיות דומות,
כגון Spark ו-SQL++.
ביג דטא לא בהכרח מערב DB או שימוש בו, והרבה פעמים נוגע כיום גם בכיוונים של machine learning
ובינה מלאכותית בכלליות כדי לעבד את המידע.

שורה תחתונה, כן, זה דורש ידע בתוכנה, ולרוב תארים מתקדמים מתואר ראשון.
מנהל מסד נתונים (DBA) אולי נוגע בהרבה מידע ("big data״) אבל זו לא הגדרת התפקיד.

בברכה,
עידן

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

מיטוכונדריה

חבר מתאריך 9.7.14
2325 הודעות, 4 פידבק

13:22 08.10.15

7. map reduce. במיוחד באדופ הוא שיטת הבסיס להבאת מידע
בתגובה להודעה מספר 6

הכי כבדה והכי כואבת .
יש כבר מנועי sql.
מעל זה עבודה פרללית (מהיר ) spark..
טעינות בסקופ
ועוד ועוד ..
מה שתיארת הוא לא בדיוק.
יש כלים. והכלי לתחקר הוא עדיין sql

נשלח ע"י הסלולרי

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

הרומני
חבר מתאריך 12.2.05
22746 הודעות

11:39 10.10.15

14. אתה מדבר שטויות .. עדיף שתעצור ותפסיק עם אותם שטויות
בתגובה להודעה מספר 7

מה שעידן כתב מדוייק מאוד מאוד.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

מיטוכונדריה

חבר מתאריך 9.7.14
2325 הודעות, 4 פידבק

00:35 26.01.16

22. לא נראה לי. לא סטרתי את מה שעידן כתב רק הוספתי
בתגובה להודעה מספר 14

תלמד תדע

נשלח ע"י הסלולרי

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

הרומני
חבר מתאריך 12.2.05
22746 הודעות

15:59 29.01.16

25. תלמד אתה חבוב.
בתגובה להודעה מספר 22

זה שאתה DBA שיודע כמה שאילתות SQL ועשית קורס בג׳ון ברייס לא הופך אותך למומחה גדול.
זרקת כמה מושגים כמו spark, hadoop וכו׳ לאוויר בלי לדעת בכלל מה הכוונה ומה עושים איתם.
שוב, כמו שעידן אמר כשמדברים על big data מדברים על הנושאים של map reduce (לא משנה כרגע איך זה מבוצע) וmachine learning
ולא על נושא של ניהול של ״דאטה גדול..״ שזה לא מושג שקיים ..

במקרה אני מריץ כמה קלאטסרים גדולים של spark ומבין דבר או שניים ב-״דאטה גדול״

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

cohen1
חבר מתאריך 25.1.10
1010 הודעות

09:06 09.10.15

8. תודה לכולם על התגובה.. שורה תחתונה האם קורסים של DBA שמוצעים בשוק שווים משהו?
בתגובה להודעה מספר 0

או שהמשרות המוצעות הן QA וכד' ?
יש קורס בג'ון ברייס של DBA ממה שטיפה התחלתי לקרוא.

במידה וזה להתחרות בשוק מול אנשי מדמ"ח ומהנדסי תוכנה למיניהם, זה קרב אבוד מראש עם הביקוש הגבןה לאנשי תוכנה וההיצע החסר.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

מיטוכונדריה

חבר מתאריך 9.7.14
2325 הודעות, 4 פידבק

13:48 09.10.15

10. לא נכון. תבדוק אם יש להם השמה
בתגובה להודעה מספר 8

נשלח ע"י הסלולרי

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

fly
חבר מתאריך 23.7.13
668 הודעות, 1 פידבק

14:45 09.10.15

11. אני לא כל כך בעניינים של big data
בתגובה להודעה מספר 0

אבל כמו שהזכירו פה
אתה צריך לדעת להתעסק עם תוכנות של בסיסי נתונים
לעשות עם sql כלשהו איזה פרוייקט קטן ולהבין איך העניינים עובדים
ואז להבין ש sql רלציוני לא מתאים לכמויות אדירות של מידע שמפוזרת על המון שרתים

ואז להתחיל ללמוד mongo db וחבריו ולראות איזה פתרון זה נותן לך

וזהו נראה לי
רוב הקושי זה ללמוד להתעסק וליצור עם התוכנות ולדעת מה טוב למי ומתי

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

zuka
חבר מתאריך 22.9.09
509 הודעות

00:10 10.10.15

12. Big Data
בתגובה להודעה מספר 0

בעקרון זה לא מחייב לימודי מדעי המחשב אך זו העדיפות.
אבל השאלה מה הקורס כולל, מה בפועל תלמד - לנהל DB מסוג Big Data או עבודת פיתוח עם עבודה מול Big Data וכו'.
הכי חשוב, האם המקום בו תלמד מבטיח לך עזרה במציאת מקום עבודה.

מבחינת התעסוקה, זה עולם חם בשוק העבודה. היום הדרישה היא לאנשים עם ניסיון בתחום. כאשר האפשרויות תעסוקה מחולקות בין אנשי פיתוח שעוסקים עם Big Data, אנשי DBA שעוסקים בכך וחוקרים/אנליסטים שעוסקים בתחום.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

cohen1
חבר מתאריך 25.1.10
1010 הודעות

11:32 10.10.15

13. דיברתי עם כמה חבר'ה מהתעשייה לגבי DBA, ממה שהבנתי מאד קשה להיכנס ללא ניסיון
בתגובה להודעה מספר 0

וללא רקע בתכנות בכלל וב SQL בפרט.
חשבתי אולי להתחיל ללמוד פיתוח בג'ון ברייס, יש קורס שהבנתי שמקיף מאד ומכיל לא מעט חומר, של .net .
זה הקורס
http://www.johnbryce.co.il/training-courses/%D7%94%D7%9E%D7%A1%D7%9C%D7%95%D7%9C-%D7%94%D7%9E%D7%A7%D7%99%D7%A3-%D7%9C%D7%94%D7%9B%D7%A9%D7%A8%D7%AA-%D7%9E%D7%AA%D7%9B%D7%A0%D7%AA%D7%99net-%D7%91%D7%A1%D7%91%D7%99%D7%91%D7%95%D7%AA-web

מישהו שמע עליו במקרה ?

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

הרומני
חבר מתאריך 12.2.05
22746 הודעות

11:42 10.10.15

15. אממ
בתגובה להודעה מספר 13

אין קשר בין .NET ל-ביג דאטה.
אתה מבלבל בין מיליון דברים.
אני מציע שאם אתה באמת רוצה להיכנס לעולם המחשבים אז תעשה תואר במדעי המחשב
ואחרי זה תדע יותר ותבין יותר.

קורס ״ביג דאטה״ לא יעזור לך - כי אתה לא תבין על מה מדברים איתך שם.
קורס DBA אוליי יעזור אבל אין לו קשה לביג דאטה.
קורס תכנות, זה קורס תכנות , אני לא יודע מה מלמדים שם אבל אם הייתי מגייס לצוות שלי מפתח בטוח שלא הייתי מגייס אותו על סמך קורס.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

zuka
חבר מתאריך 22.9.09
509 הודעות

23:13 10.10.15

17. עדיף לך ללמוד פיתוח אבל לדעתי עדיף java על פני #C.
בתגובה להודעה מספר 13

מהסיבה הפשוטה שjava אפשר לפתח בos מעל win או linux וגם קל יותר לעשות הסבה לשפות הweb היותר חדשות.

נשלח ע"י הסלולרי

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

ShocKi

חבר מתאריך 19.3.02
20171 הודעות, 10 פידבק

22:39 10.10.15

16. איאפשר בלי זה...
בתגובה להודעה מספר 0

http://www.novotech.com/sites/default/files/TeenageSex.jpg

לי נראה שפשוט כל מי שמתעסק עם מסד נתונים חושב שהוא מתעסק עם big data.
בערך בויקיפדיה כתוב "המידע הקיים בוויקיפדיה הוא דוגמה ל-big Data", זה לבד ממחיש כמה יש חוסר הסכמה לגבי מה זה המושג הזה.

קאש-באק ישראלי: https://www.cashback.co.il/?uref=33330
קאשבק לAsos ואמזון דרך Ebates: https://goo.gl/MX87Y7 - מקבלים 10$ לאחר שימוש ראשון.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

VeNom

חבר מתאריך 7.6.02
7922 הודעות, 1 פידבק

08:28 11.10.15

18. ביג דאטה
בתגובה להודעה מספר 0

כמו שאמרו כאן. הרבה דאטה עובר דרך שרתי המוצר ונשמר בדאטה-בייסים.
לרוב, תקח את הדאטה, ותעביר אותו תהליך מסוים כדי להפיק ממנו דברים - זה יכול להיות לטובת מערכת לומדת, סטטיסטיקות, דוחות וקח את זה לאן שתרצה.
זה תחום די צעיר ועוסקים בו יותר מפתחים מאשר DBA's - כי הדאטה בייסים הם ממש לא העיקר ולא תמיד מעורבים בתהליך.
לרוב מדובר בדאטה בייסים לא רלציוניים.
עכשיו בהנחה ועשית קורס בתחום - הסיכויים שלך נחותים אל מול מפתח עם תואר ועם ניסיון.
אגב, גם כמות האנשים בתחום היא יחסית קטנה אל מול כמות מפתחי המוצר שתראה בחברה ממוצעת ולכן הסיכויים שלך עוד יותר נמוכים.
מעסיקים לא ממש ששים לשלב אנשים בלי תואר אלא אם כן מדובר במעסיק שרוצה לשלם שכר נמוך ובד"כ זה לא יקרה בתחום הביג דאטה (הוא יעדיף להביא מישהו איכותי אם הוא כבר החליט לעשות משהו עם הדאטה הזה).

דריסת הרגל הריאלית היחידה שלך בשוק התוכנה היא ב QA או בניהול פרוייקטים וכנראה בשכר נמוך בתור התחלה - וגם זה יהיה קשה.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

poseidon

חבר מתאריך 1.8.02
2099 הודעות, 2 פידבק

00:13 26.01.16

21. כתבה שחבר שלי כתב :
בתגובה להודעה מספר 0

http://morganbye.com/what-is-big-data/

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

יוחאי
חבר מתאריך 30.12.15
163 הודעות

18:24 26.01.16

23. אנסה לעזור לך לסכם את הדברים,
בתגובה להודעה מספר 0

אני די בטוח שאם תחפש מידע על Big-Data באינטרנט אתה תמצא שפע, מבטיח לך שתבין הרבה יותר ממה שאני אוכל להעביר לך.

בכל אופן מרגיש לי שיש לך את היכולות לעשות את הדברים בצורה ידנית ואתה פשוט תקוע מבחינה טכנולוגית, אני אשמח לכוון אותך לתחומים שתוכל להתפתח מהם ולהכיר לך טכנולוגיות שיוכלו לעזור לך ואפילו לשלוח לך אתרים שכדאי ללמוד מהם, בשביל לעשות את זה אשמח אם תשלח לי רשימה של דברים שאתה עושה ביום עבודה סטנדרטי והיית שמח למצוא דרך לעשות אותם בצורה נוחה ומהירה יותר.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

TooBigToFail
חבר מתאריך 12.5.14
1917 הודעות, 1 פידבק

23:46 26.01.16

24. תתחיל מתכנות בסיסי ותראה אם אתה בכלל מתחבר לתחום הזה
בתגובה להודעה מספר 0

ביג דאטה או לא, אתה צריך להבין ולעבוד עם אלגוריתמים. תתחיל עם קורס תיכנות בסיסי באינטרנט ותראה אם זה משהו שיכול לעניין אותך
ביגע דאטה זה בעיקר באז וורד

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד