פתרון ל Proxy לScraper לאמאזון

היי
כתבתי scraper שבודק כמה מוצרים באמאזון
אני משתמש בrandon user agent בכל בקשה, אבל עדיין אני נחסם דיי מהר

יש למישהו פתרון טוב לפרוקסי?
כל מה שמצאתי דיי יקר בשביל משהו שאני עושה בתור תחביב

galaxy

31.03.2307:53

1. גם הפרוקסי יחסם. לא רואה איך זה פותר את הבעיה בתגובה להודעה מספר 0

כל כמה זמן אתה שולח את הבקשה?

jon snow

31.03.2313:46

2. ראיתי שירותים שמיועדים לסקייפינג שמביאים IP רנדומלי בכל בקשה בתגובה להודעה מספר 1

יש להם כמה מליוני כתובות אייפי
ואני דוגם כל 1-3 דקות, בוחר זמן רנדומלי לכל מוצר

galaxy

31.03.2316:54

3. לא מכיר את השירותים האלה בתגובה להודעה מספר 2

אבל ניסית להגדיל את הdelay מבקשה לבקשה? נניח כל 5 דקות?

kobe229

31.03.2317:57

4. אתה עושה טעות עם ה-user agent לשנות אותו רק מעלה דגל אדום בתגובה להודעה מספר 0

כי רואים שאותה IP ניגשה לאתר עם שלל קליינטים שונים. תישאר עם אותו אחד.
בכמה מוצרים מדובר? האם כולם נבדקים בו זמנית או עם עיכוב מסויים בין מוצר אחר לשני?

galaxy

02.04.2315:04

5. לא בטוח. ככלל, יש כמה גורמים אשר עלולים לחשוף את הסקריפט שלו בתגובה להודעה מספר 4

ואמזון נותנים לכולם ציון ובסוף גם משקללים ציון סופי ואז מחליטים אם לחסום או לא.

הייתי מנסה לשלוח גם את הheader
Referer עם נתיב הגיוני בתוך אמזון + להגדיל את הdelay בין בקשה לבקשה

jon snow

02.04.2321:29

6. שולח בקשה כל בערך 5 דקות בתגובה להודעה מספר 0

יש לי רשימת מוצרים ואני עושה random לאינטרוול של כל אחד

פה יש דוגמא לשירותי פרוקסי שמביאים לך IP רנדומלי בכל בקשה
אבל זה שירות לא זול (באופן יחסי)
https://proxyway.com/best/residenti?...

בקיצור, אני מבין שאין דרך לבנות סקרייפר טוב בחינם

Crazy Lion

03.04.2308:23

7. מה הכמות מוצרים שאתה מנסה לשלוף? בתגובה להודעה מספר 6

בגדול כמו שאמרו קודם בעייתי קצת, אין איזה תוסף שעושה את זה ?

galaxy

27.04.2314:11

8. במחשבה שניה, אתה מריץ מסקריפט python, הגיוני שתחסם די מהר בתגובה להודעה מספר 0

תנסה לעבוד עם headless browser
ובכלל, אם אתה יכול לעבור לJS, עדיף לך כי יש Package ממש טוב שמאפשר לך להתחזות לדפדפן של משתמש רגיל

https://www.npmjs.com/package/puppe?...

@jon snow@

Crazy Lion

06.06.2416:12

9. ניסית להשתמש בapi שלהם?

בתגובה להודעה מספר 0

The Boss

06.06.2418:04

10. מכתב בתגובה להודעה מספר 0

https://webservices.amazon.com/paap?tag=rotter0fa-20...

@jon snow@

kickass

11.07.2400:20

11. Residential proxies - כמה כאלה ורנדומלית אחד אחר כל פעם בתגובה להודעה מספר 0

יש לא מעט אופציות, אני משתמש לפרוייקט אחר בSOAX:
https://soax.com/proxies/residentia?...

כותרת:
תוכן:
סמיילים:	הצג

כותרת:
תוכן:
סמיילים:	הצג

העבר לפורום:
סיבה: