רוטר - פתרון ל Proxy לScraper לאמאזון

האשכול	מחבר	תאריך כתיבה	מספר
גם הפרוקסי יחסם. לא רואה איך זה פותר את הבעיה	galaxy	31.03.23 07:53	1
ראיתי שירותים שמיועדים לסקייפינג שמביאים IP רנדומלי בכל בקשה	jon snow	31.03.23 13:46	2
לא מכיר את השירותים האלה	galaxy	31.03.23 16:54	3
אתה עושה טעות עם ה-user agent לשנות אותו רק מעלה דגל אדום	kobe229	31.03.23 17:57	4
לא בטוח. ככלל, יש כמה גורמים אשר עלולים לחשוף את הסקריפט שלו	galaxy	02.04.23 15:04	5
שולח בקשה כל בערך 5 דקות	jon snow	02.04.23 21:29	6
מה הכמות מוצרים שאתה מנסה לשלוף?	Crazy Lion	03.04.23 08:23	7
במחשבה שניה, אתה מריץ מסקריפט python, הגיוני שתחסם די מהר	galaxy	27.04.23 14:11	8

galaxy
חבר מתאריך 2.7.02
9258 הודעות

07:53 31.03.23

1. גם הפרוקסי יחסם. לא רואה איך זה פותר את הבעיה
בתגובה להודעה מספר 0

כל כמה זמן אתה שולח את הבקשה?

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

jon snow

חבר מתאריך 18.7.13
923 הודעות, 1 פידבק, 1 נקודות

13:46 31.03.23

2. ראיתי שירותים שמיועדים לסקייפינג שמביאים IP רנדומלי בכל בקשה
בתגובה להודעה מספר 1

יש להם כמה מליוני כתובות אייפי
ואני דוגם כל 1-3 דקות, בוחר זמן רנדומלי לכל מוצר

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

galaxy
חבר מתאריך 2.7.02
9258 הודעות

16:54 31.03.23

3. לא מכיר את השירותים האלה
בתגובה להודעה מספר 2

אבל ניסית להגדיל את הdelay מבקשה לבקשה? נניח כל 5 דקות?

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

kobe229

חבר מתאריך 2.12.17
4191 הודעות, 4 פידבק, 8 נקודות

17:57 31.03.23

4. אתה עושה טעות עם ה-user agent לשנות אותו רק מעלה דגל אדום
בתגובה להודעה מספר 0

כי רואים שאותה IP ניגשה לאתר עם שלל קליינטים שונים. תישאר עם אותו אחד.
בכמה מוצרים מדובר? האם כולם נבדקים בו זמנית או עם עיכוב מסויים בין מוצר אחר לשני?

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

galaxy
חבר מתאריך 2.7.02
9258 הודעות

15:04 02.04.23

5. לא בטוח. ככלל, יש כמה גורמים אשר עלולים לחשוף את הסקריפט שלו
בתגובה להודעה מספר 4

ואמזון נותנים לכולם ציון ובסוף גם משקללים ציון סופי ואז מחליטים אם לחסום או לא.

הייתי מנסה לשלוח גם את הheader
Referer עם נתיב הגיוני בתוך אמזון + להגדיל את הdelay בין בקשה לבקשה

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

jon snow

חבר מתאריך 18.7.13
923 הודעות, 1 פידבק, 1 נקודות

21:29 02.04.23

6. שולח בקשה כל בערך 5 דקות
בתגובה להודעה מספר 0

יש לי רשימת מוצרים ואני עושה random לאינטרוול של כל אחד
פה יש דוגמא לשירותי פרוקסי שמביאים לך IP רנדומלי בכל בקשה
אבל זה שירות לא זול (באופן יחסי)
https://proxyway.com/best/residential-proxies

בקיצור, אני מבין שאין דרך לבנות סקרייפר טוב בחינם

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

Crazy Lion

חבר מתאריך 1.7.02
20396 הודעות, 9 פידבק, 16 נקודות

08:23 03.04.23

7. מה הכמות מוצרים שאתה מנסה לשלוף?
בתגובה להודעה מספר 6

בגדול כמו שאמרו קודם בעייתי קצת, אין איזה תוסף שעושה את זה ?

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

galaxy
חבר מתאריך 2.7.02
9258 הודעות

14:11 27.04.23

8. במחשבה שניה, אתה מריץ מסקריפט python, הגיוני שתחסם די מהר
בתגובה להודעה מספר 0

תנסה לעבוד עם headless browser
ובכלל, אם אתה יכול לעבור לJS, עדיף לך כי יש Package ממש טוב שמאפשר לך להתחזות לדפדפן של משתמש רגיל
https://www.npmjs.com/package/puppeteer-extra-plugin-stealth

@jon snow@

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד