חזור חזרה לדף הקודם
כתובת פורום: https://rotter.name/cgi-bin/nor/dcboard.cgi
שם פורום: שיחות חברים
מספר נושא: 44293
#0,יצריך עזרה, מוכן לשלם, מחפש כלי ל web scraping
נכתב על-ידי AzurA בתאריך 15.04.18 בשעה 21:18
הקאץ' הוא שאני צריך משהו לוקאלי שיקח מידע מאתר מסויים וישלח אותו לגוגל שיט, ההתחברות לאתר שהוא לוקח חייבת להיות לוקאלית ולא מבחוץ.

#1,יhttp://www.fminer.com/
נכתב על-ידי GaL בתאריך 15.04.18 בשעה 23:47
בתגובה להודעה #0

#2,יזה לוקאלי אחי?
נכתב על-ידי AzurA בתאריך 16.04.18 בשעה 07:00
בתגובה להודעה #1

#3,ימה הכוונה בלוקאלי?
נכתב על-ידי Mr Andersson בתאריך 16.04.18 בשעה 07:56
בתגובה להודעה #0
יש אתר כלשהו שדורש login, ואתה רוצה לבצע login ולמשוך מידע כל X זמן?

#4,יכן אבל אני רוצה שהפעולה תהיה מבפנים החוצה ולא מהחוצה פנימה
נכתב על-ידי AzurA בתאריך 16.04.18 בשעה 10:53
בתגובה להודעה #3
אני מנסה למנוע קישור בין החשבונות
לדוגמא - אם יש לי 10 חשבונות ברוטר, על 10 VPS נפרדים , אם הכלי יכנס מבחוץ פנימה לחשבונות זה יגרום לקישור בין החשבונות, לא ? אם הכלי יעבוד עם IP מסויים ויכנס לכל החשבונות כדי לקחת מידע ולהוציא אותו לGOOGLE SHEET

לכן אני מחפש משהו שישב לוקאלי על הדפדפן, יכנס לURL שבו יש את המידע שאני צריך, יקח אותו וישים ב SHEET, לגבי LOGIN - החשבון תמיד LOGGED IN על השרת אז ככל הנראה אין צורך בפעולת LOG IN


#5,יאם יש לך ידע בסיסי בתכנות אז תסתכל על זה:
נכתב על-ידי Dotan בתאריך 16.04.18 בשעה 13:25
בתגובה להודעה #4
https://github.com/GoogleChrome/puppeteer

#6,יאין לי אחי, לכן אמרתי מוכן לשלם
נכתב על-ידי AzurA בתאריך 16.04.18 בשעה 15:29
בתגובה להודעה #5

#7,יאיזה אתר? אולי מדובר במשהו פשוט מאוד
נכתב על-ידי משה הלולן בתאריך 16.04.18 בשעה 15:35
בתגובה להודעה #0

#8,יאמזון
נכתב על-ידי AzurA בתאריך 17.04.18 בשעה 07:53
בתגובה להודעה #7

#9,יראית את octoparse?
נכתב על-ידי משה הלולן בתאריך 17.04.18 בשעה 11:59
בתגובה להודעה #8
https://www.octoparse.com/

גם יש להם מדריך מיוחד לאמזון https://www.octoparse.com/tutorial/scraping-data-from-amazon/

יש גם עוד אופציות:
https://www.parsehub.com/
https://dexi.io/
https://www.mozenda.com/
https://www.import.io/

ומניח שעוד הרבה


#10,יאפשר לשאול בשביל מה צריך את זה? תודה
נכתב על-ידי Alexnoj בתאריך 17.04.18 בשעה 18:43
בתגובה להודעה #0