רוטר - מישהו מבין פה ב-big data?

יומן פעילות	לוח שנה	מבזקי חדשות	תקנון	RSS	כותרות	כותרות לפי תגובה	ניקוי קוקיז	IP	להורדת אפליקציה
eBay	AliExpress	GearBest	Amazon	Booking	Kiwi	SkyScanner	Trip Advisor

"מישהו מבין פה ב-big data?"

גירסת הדפסה

קבוצות דיון פיתוח, תיכנות ובניית אתרים נושא #21924	מנהל סגן המנהל מפקח Winner צל"ש מומחה

אשכול מספר 21924

ssl
חבר מתאריך 2.1.17
234 הודעות

23:30 26.01.17

מישהו מבין פה ב-big data?

נניח שכיום יש לי 5 שרתים לאתר ושרת אחד של SQL
א. איזה פתרון יש לי בעולם ה-sql הרלציוני שאוכל לשכפל שרתי SQL
הרי אם יש לי יותר משרת אחד אז המידע לא יהיה זהה בין השרתים
ב. בעולם ה-nosql איך זה עובד הרי אם אני מתקין nosql על 2 שרתים
אז גם כאן יש בעיה שהמידע לא זהה
ג. איזה פתרון hadoop נותן לי
אני מבין שאני פונה לזה מהקוד וזה יודע לבד לרוץ בין כל השרתים ולהביא לי את הקבצים
אבל האם זה גם סוג של Nosql או רק מיועד לקבצים
ומה עושים לגבי מהירות, hadoop איטי

ד. ועוד שאלה לא קשורה, כאשר אני משתמש בסטיקי סשן איך הloadblancer יודע להפנות לשרת המתאים

שתף

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

האשכול	מחבר	תאריך כתיבה	מספר
...	Bonito	27.01.17 00:16	1
מכתב	Deuce	27.01.17 12:44	2
בקיצור מורכב, אתה מכיר מקום שאפשר ללמוד את זה?	ssl	28.01.17 20:35	3
מה מהדברים תרצה לדעת?	Deuce	28.01.17 23:13	4
ארצה לדעת איך להקים תשתית שתתמודד עם כמויות של מידע מבחינה פרקטית	ssl	29.01.17 00:51	5
הסבר קצר	מיטוכונדריה	29.01.17 09:21	6

Bonito
חבר מתאריך 22.9.09
14859 הודעות

00:16 27.01.17

1. ...
בתגובה להודעה מספר 0

א. אתה יכול לעבוד בסוג של בלנסר\מאסטר-סלייבס בSQL, לדוגמה:
https://mariadb.com/kb/en/mariadb-enterprise/maxscale/
ב. גם פה יש פתרונות דומים.

ד. אתה יכול להשתמש בip hash אבל למה אתה לא משתמש ברדיס ל SESSIONS?

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

Deuce
חבר מתאריך 1.9.08
6225 הודעות

12:44 27.01.17

2. מכתב
בתגובה להודעה מספר 0

א. השאלה אם המטרה שלך היא לשרידות ואז התשובה שנתנו לך מספקת, או שאתה רוצה לעשות Scaling כי הכמויות גדלו. קיימים פתרונות Scale Out ל-SQL SERVER, אם כי בד"כ עבור SQL SERVER עושים Scale Up ומוסיפים עוד משאבים לשרת הבודד. כמובן שאם המטרה היא שרידות, יש הרבה פתרונות כך שאם השרת נופל, האפליקציה שלך תעבוד מול שרת אחר.
ב. עולם ה-No SQL מוכוון לפתרונות מבוזרים על מספר שרתים, כך שאם חסרים משאבים אז ניתן להוסיף שרתים ל-Cluster ואז השרתים מאזנים את עצמם. מעצם היותו מבוזר כל שרת מכיל מידע שונה משרת אחר, אבל זה שקוף לאפליקציה ולממשק השליפה. כלומר אשר אתה שולף, אתה מקבל כמובן את כלל התוצאות אעפ"י שאחורי הקלעים כל שרת ביצע שליפה על ה-data ה-locally שהוא רואה. כמובן שמדובר בהסבר כללי מאד, אבל רציתי לתת לך אינטואיציה.

ג. Hadoop הוא לא DB אלא מערך קבצים מבוזר ופלטפורמה לכתיבת אלגוריתמים מבוזרים שנקראת Map Reduce. מעל אותה פלטפורמה (או ע"י פנייה ישירה למערך הקבצים המבוזר) מימשו הרבה תשתיות פיתוח שמאפשרות לך לעבד כמויות גדולות של מידע. השימושים המסחריים ב-Hadoop הם קודם כל לטובת אגירת מידע, שכן עלות השרתים היא זולה וקל להרחיב את ה-Cluster, וכן לתהליכי עיבוד של מידע לרבות ניקוי, העשרה, הסרת רשומות כפולות וכו'. את תוצרי העיבוד מעבירים בד"כ ל-Databse מתאים.
כמה נקודות נוספות בהקשרי Hadoop:
1. אין דבר כזה Hadoop איטי. הוא לא DB ולכן אין טעם להשוות בין זמן הריצה של שאילתת SQL ב-SQL SERVER לבין הזמן שלוקח ל-MAP REDUCE להחזיר לך תשובה. הם לא מתחרים על אותה משבצת.
2. מעל Hadoop ניתן להתקין מספר Databases, שבד"כ יוצרים אינדקסים משלהם ע"ג ה-Hadoop לרבות HBase, Apache Phoenix, Impala. לכל DB יש את היתרונות והחסרונות שלו, ולא כל ה-NoSQL באים לתת מענה לאותה בעיה.
3. חוות היום שהם State of the art לאגירה ועיבוד מידע לא משתמשות רק ב-Hadoop. נהוג להשתמש ב-hdfs או ב-S3 לאגירת המידע וב-Spark למשל כדי לעבד אותו (שאינו קשור ל-Map Reduce).

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

ssl
חבר מתאריך 2.1.17
234 הודעות

20:35 28.01.17

3. בקיצור מורכב, אתה מכיר מקום שאפשר ללמוד את זה?
בתגובה להודעה מספר 2

הכוונה:
מידע באינטרנט
או קורס

או מקום עבודה מסוים שמתעסקים בזה ואגיש לשם קורות חיים כדי שילמדו אותי

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

Deuce
חבר מתאריך 1.9.08
6225 הודעות

23:13 28.01.17

4. מה מהדברים תרצה לדעת?
בתגובה להודעה מספר 3

big data זה בעיקר buzzword. יש אנשי תשתית שמבינים בתשתיות שונות של ניהול מידע (DBים, Storage, תורים, ניטור, הזרמה), יש פיתוח אפליקציות בהקשרי דאטה, יש אנשים שאחראיים על מיצוי של מידע (Data Analysts, Data Scientist). כל אחד מאלו דורש הכשרות שונות.
אני לא בטוח מה הרקע שלך, אבל כדאי להגיע לשם עם רקע טכנולוגי: נסיון או תואר ראשון במדעי המחשב. יש לך קורסים בכל מיני נושאים בג'ון ברייס, מכללת סלע, נאיה קולג'.

כמובן שיש גם הרבה מידע באינטרנט, אבל כדי לצבור נסיון צריך להתעסק בזה בעבודה.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

ssl
חבר מתאריך 2.1.17
234 הודעות

00:51 29.01.17

5. ארצה לדעת איך להקים תשתית שתתמודד עם כמויות של מידע מבחינה פרקטית
בתגובה להודעה מספר 4

אני מתכנת web
אני יודע לבנות הרבה דברים
אבל אף פעם לא בניתי אתר שישרת מיליוני אנשים בו זמנית עם מסות של מידע
ואת זה אני מעוניין להתחיל ללמוד

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

מיטוכונדריה

חבר מתאריך 9.7.14
2325 הודעות, 4 פידבק

09:21 29.01.17

6. הסבר קצר
בתגובה להודעה מספר 0

למעשה שרתי HADOOP הם מילה אחרת לסטורג' .
א. בארוקל יש לך GOLDENGATE , RAC .
ב.המידע נכתב לשרתים האלה על מערכת קבצים HDFS HADOOP FILE SYSTEM
לוגית אם יצרת טבלה , למעשה פיזית המידע שלה נכתב על שרתים רבים כולל יתירות במידה ואחד השרתים קורס.
שרת אחד לפי דעתי ,מנהל את הכל . ככה שהמידע נכון לכולם .
ג.לגביי האיטיות , זה איטי להחריד ,אם אתה עובד MAPREDUCE, אבל יש כלים כמו SPARK שמאיצים את העניין בניצול זיכרון .לקאלודרה יש אפילו GUI שיודע לתרגם SQL לשפת HADOOP.הקבצים הם קבצי טקסט וכן אתה יכול להביא גם קובץ רגיל , אם תשים אותו על HDFS.
הפתרון הוא הזולות בגדילה רק חבר שרת עם דיסקים וסע . לא צריך לקנות מפלצת

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד