רוטר - עבודה מבוזרת בעזרת NOSQL

יומן פעילות	לוח שנה	מבזקי חדשות	תקנון	RSS	כותרות	כותרות לפי תגובה	ניקוי קוקיז	IP	להורדת אפליקציה
eBay	AliExpress	GearBest	Amazon	Booking	Kiwi	SkyScanner	Trip Advisor

"עבודה מבוזרת בעזרת NOSQL - מאיפה מתחילים?"

גירסת הדפסה

קבוצות דיון פיתוח, תיכנות ובניית אתרים נושא #20054	מנהל סגן המנהל מפקח Winner צל"ש מומחה

אשכול מספר 20054

VeNom

חבר מתאריך 7.6.02
7922 הודעות, 1 פידבק

22:09 03.06.13

עבודה מבוזרת בעזרת NOSQL - מאיפה מתחילים?

אהלן..
אני רוצה להתחיל לנסות לעבוד עם NoSql בצורה מבוזרת(map-reduce)..
עכשיו קראתי קצת באינטרנט ויש המלצות לopen source מכל מיני סוגים..אבל מאיפה מתחילים בכלל?
האם בשביל לעבוד בצורה מבוזרת אני חייב להתקין מערכת קבצים שתתמוך(סטייל hadoop file system)?
האם מספיק לי להקים DB מסוג NOSQL ולעבוד איתו בצורה מבוזרת?
האם NOSQL יכול לחיות בלי FILE SYSTEM מיוחד?
אני טיפה מבולבל..
גם לגבי NOSQL ראיתי שעובדים בצורת KEY VALUE..השאלה היא האם ב VALUE אפשר(או יותר נכון רצוי) לעבוד עם יותר מנתון אחד? כלומר נניח ויש לי טבלה שהKEY שלה הוא ת"ז של בנאדם..מה ה VALUE שלה אמור להיות? אוסף נתונים על אדם? או נתון אחד על האדם הזה(בתוספת המון טבלאות שכל אחד תכיל רק נתון?)

תודה רבה..

שתף

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

האשכול	מחבר	תאריך כתיבה	מספר
וואלה רק כדי להתקין את החרא הזה אפשר למות...	Zvikadori	04.06.13 20:43	1
קח לינק שיכול לעזור לך:	Zvikadori	04.06.13 20:52	2
תודה על התגובות..	VeNom	04.06.13 22:07	3
כמה דברים:	Zvikadori	10.06.13 01:24	4
אני די מכיר את מה שכתבת..	VeNom	11.06.13 01:28	5

Zvikadori
חבר מתאריך 3.8.02
5369 הודעות

20:43 04.06.13

1. וואלה רק כדי להתקין את החרא הזה אפשר למות...
בתגובה להודעה מספר 0

ולגבי ה-key וה-value, אז בגדול כן...
ה-key נניח שהוא string של ת"ז(או מזהה אחר), וה-value הוא חייב להיות writable(ממש את הממשק) כדי שניתן יהיה לקרוא/לכתוב אותו מקבצי הקלט/פלט.
תמיד ניתן לממש גם את ה-value כטקסט ולפרסר אותו ידנית בעת פעולת MAP, ולכתוב אותו ידנית בתום פעולת REDUCE או COMBINE.

בכל מקרה, רק להתקין את החרא הזה, ולהריץ קוד, ולדבג, יצאה לי הנשמה, אני בדיוק עובד על זה.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

Zvikadori
חבר מתאריך 3.8.02
5369 הודעות

20:52 04.06.13

2. קח לינק שיכול לעזור לך:
בתגובה להודעה מספר 0

http://shuyo.wordpress.com/2011/03/08/hadoop-development-environment-with-eclipse/
אני חושב שככה המתרגל שלנו הריץ את hadoop במכונה הוירטואלית... זו דרך מכוערת, אבל היא חוסכת חפירות של HDFS, והגדרות ועמה.
בפיתוח כמעט ואין צורך ב-multinode ולעשות deployment לשרת וכל הבאלגן הזה, כולה רוצים להריץ, ולראות שמה שהרצנו עובד.

עוד מעט אגיד לך אם זה עובד אצלי על המק(ולא במכונה הוירטואלית של הפקולטה, שחסמו לנו שם את ה-su).

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

VeNom

חבר מתאריך 7.6.02
7922 הודעות, 1 פידבק

22:07 04.06.13

3. תודה על התגובות..
בתגובה להודעה מספר 2

אני פחות בקטע של לפתח עם JAVA..ולא נראה לי שחייב להיות הצמדה לשפה(הרי זה DB בסופו של דבר, לא?).
שמעתי קצת על mongodb..אבל שוב, אין לי יותר מדי ניסיון ועדיין לא מצאתי מאמר שעושה סדר בכל ה BIGDATA הזה כמו שצריך.
יש מיליון פריימוורקים שהם אופן-סורס ואין לי מושג במה לבחור ולהתחיל..

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

Zvikadori
חבר מתאריך 3.8.02
5369 הודעות

01:24 10.06.13

4. כמה דברים:
בתגובה להודעה מספר 3

1)hadoop ודומותיה הן סיפריות לכתיבת קוד מבוזר, מבוסס framework שנשען על רעיון ה- Map-Reduce שפותח בגוגל(כמדומני), שמשתמש בכל מיני הנחות לכתיבת קוד.
הרעיון מזכיר את map/fold משפות פונק' טהורות כמו lisp ו-scheme.
2)המימוש של hadoop הוא ב-java, וכדי להתממשק אליו, או לממש פונקציונאליות מסוימת - כותבים ב-java.
3)hadoop הוא לא DB!!
4)מעל ה-hadoop יש מוצרי high-level כמו HBASE, Cassandra,HIVE שהם בעצמם כן בסיסי נתונים(או מחסן נתונים אם מדברים על HIVE), יש גם ספריות אחרות שנועדו ל-Data mining ו-machine learning כמו mahout.
לגבי mongoDB זה כבר DB אחר(עם הרחבות גיאומטריות), אישית לא יצא לי להשתמש או אפילו לראות קוד שמשתמש בו(לפחות כרגע).
כדי להתעסק עם התחום אתה צריך קצת להבין מאיפה הוא נובע, ולהבין מטרות מסויימות שלו - כמו ניתוח מידע רב, לבינה עסקית או בכלל, להבין אלגוריתמים בלמידת מכונה וכריית מידע.

לדעתי הכי קרוב למה שאתה צריך זה HBASE, שזה לא בדיוק DB רלציוני שאנחנו מכירים, או HIVE שמציעה מעין שפת SQL (לא יצא לי להשתמש בזה).

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

VeNom

חבר מתאריך 7.6.02
7922 הודעות, 1 פידבק

01:28 11.06.13

5. אני די מכיר את מה שכתבת..
בתגובה להודעה מספר 4

אני יותר מחפש להתממשק ל DB שחושף REST API ושלא עובד צמוד ל HADOOP FILE SYSTEM.
אני מבחינתי הייתי רוצה לבקש את הנתונים מעל HTTP ולקבל אותם חזרה איכשהו(JSON זה אחלה).
אני אבדוק את HBASE ו HIVE בכל אופן..

תודה אחי..

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד