ABA


"פתרון ל Proxy לScraper לאמאזון"
גירסת הדפסה        
קבוצות דיון פיתוח, תיכנות ובניית אתרים נושא #22482 מנהל    סגן המנהל    מפקח   Winner    צל"ש   מומחה  
אשכול מספר 22482
jon snow לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 18.7.13
937 הודעות, 1 פידבק, 1 נקודות
   19:04   30.03.23   
אל הפורום  
  פתרון ל Proxy לScraper לאמאזון  
 
   היי
כתבתי scraper שבודק כמה מוצרים באמאזון
אני משתמש בrandon user agent בכל בקשה, אבל עדיין אני נחסם דיי מהר

יש למישהו פתרון טוב לפרוקסי?
כל מה שמצאתי דיי יקר בשביל משהו שאני עושה בתור תחביב


                                שתף        
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

  האשכול     מחבר     תאריך כתיבה     מספר  
  גם הפרוקסי יחסם. לא רואה איך זה פותר את הבעיה galaxy  31.03.23 07:53 1
     ראיתי שירותים שמיועדים לסקייפינג שמביאים IP רנדומלי בכל בקשה jon snow 31.03.23 13:46 2
         לא מכיר את השירותים האלה galaxy  31.03.23 16:54 3
  אתה עושה טעות עם ה-user agent לשנות אותו רק מעלה דגל אדום kobe229 31.03.23 17:57 4
     לא בטוח. ככלל, יש כמה גורמים אשר עלולים לחשוף את הסקריפט שלו galaxy  02.04.23 15:04 5
  שולח בקשה כל בערך 5 דקות jon snow 02.04.23 21:29 6
     מה הכמות מוצרים שאתה מנסה לשלוף? Crazy Lion  03.04.23 08:23 7
  במחשבה שניה, אתה מריץ מסקריפט python, הגיוני שתחסם די מהר galaxy  27.04.23 14:11 8
  ניסית להשתמש בapi שלהם? Crazy Lion  06.06.24 16:12 9
  מכתב The Boss  06.06.24 18:04 10

       
galaxy 
חבר מתאריך 2.7.02
9372 הודעות
   07:53   31.03.23   
אל הפורום  
  1. גם הפרוקסי יחסם. לא רואה איך זה פותר את הבעיה  
בתגובה להודעה מספר 0
 
   כל כמה זמן אתה שולח את הבקשה?


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
jon snow לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 18.7.13
937 הודעות, 1 פידבק, 1 נקודות
   13:46   31.03.23   
אל הפורום  
  2. ראיתי שירותים שמיועדים לסקייפינג שמביאים IP רנדומלי בכל בקשה  
בתגובה להודעה מספר 1
 
   יש להם כמה מליוני כתובות אייפי
ואני דוגם כל 1-3 דקות, בוחר זמן רנדומלי לכל מוצר


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
galaxy 
חבר מתאריך 2.7.02
9372 הודעות
   16:54   31.03.23   
אל הפורום  
  3. לא מכיר את השירותים האלה  
בתגובה להודעה מספר 2
 
   אבל ניסית להגדיל את הdelay מבקשה לבקשה? נניח כל 5 דקות?


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
kobe229 לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 2.12.17
4328 הודעות, 4 פידבק, 8 נקודות
   17:57   31.03.23   
אל הפורום  
  4. אתה עושה טעות עם ה-user agent לשנות אותו רק מעלה דגל אדום  
בתגובה להודעה מספר 0
 
   כי רואים שאותה IP ניגשה לאתר עם שלל קליינטים שונים. תישאר עם אותו אחד.
בכמה מוצרים מדובר? האם כולם נבדקים בו זמנית או עם עיכוב מסויים בין מוצר אחר לשני?


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
galaxy 
חבר מתאריך 2.7.02
9372 הודעות
   15:04   02.04.23   
אל הפורום  
  5. לא בטוח. ככלל, יש כמה גורמים אשר עלולים לחשוף את הסקריפט שלו  
בתגובה להודעה מספר 4
 
   ואמזון נותנים לכולם ציון ובסוף גם משקללים ציון סופי ואז מחליטים אם לחסום או לא.

הייתי מנסה לשלוח גם את הheader
Referer עם נתיב הגיוני בתוך אמזון + להגדיל את הdelay בין בקשה לבקשה


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
jon snow לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 18.7.13
937 הודעות, 1 פידבק, 1 נקודות
   21:29   02.04.23   
אל הפורום  
  6. שולח בקשה כל בערך 5 דקות  
בתגובה להודעה מספר 0
 
   יש לי רשימת מוצרים ואני עושה random לאינטרוול של כל אחד

פה יש דוגמא לשירותי פרוקסי שמביאים לך IP רנדומלי בכל בקשה
אבל זה שירות לא זול (באופן יחסי)
https://proxyway.com/best/residential-proxies

בקיצור, אני מבין שאין דרך לבנות סקרייפר טוב בחינם


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
Crazy Lion  לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 1.7.02
20496 הודעות, 9 פידבק, 16 נקודות
   08:23   03.04.23   
אל הפורום  
  7. מה הכמות מוצרים שאתה מנסה לשלוף?  
בתגובה להודעה מספר 6
 
   בגדול כמו שאמרו קודם בעייתי קצת, אין איזה תוסף שעושה את זה ?


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
galaxy 
חבר מתאריך 2.7.02
9372 הודעות
   14:11   27.04.23   
אל הפורום  
  8. במחשבה שניה, אתה מריץ מסקריפט python, הגיוני שתחסם די מהר  
בתגובה להודעה מספר 0
 
   תנסה לעבוד עם headless browser
ובכלל, אם אתה יכול לעבור לJS, עדיף לך כי יש Package ממש טוב שמאפשר לך להתחזות לדפדפן של משתמש רגיל

https://www.npmjs.com/package/puppeteer-extra-plugin-stealth

@jon snow@


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
Crazy Lion  לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 1.7.02
20496 הודעות, 9 פידבק, 16 נקודות
   16:12   06.06.24   
אל הפורום  
  9. ניסית להשתמש בapi שלהם?  
בתגובה להודעה מספר 0
 
  


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד
The Boss  לחץ כאן להצגת דירוג המשתמש
חבר מתאריך 14.9.08
8624 הודעות, 2 פידבק, 4 נקודות
   18:04   06.06.24   
אל הפורום  
  10. מכתב  
בתגובה להודעה מספר 0
 
   https://webservices.amazon.com/paapi5/documentation/

@jon snow@


                                                         (ניהול: מחק תגובה)
מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

תגובה מהירה  למכתב מספר: 
 
___________________________________________________________________

___________________________________________________________________
למנהלים:  נעל | תייק בארכיון | מחק | העבר לפורום אחר | מחק תגובות | עגן אשכול
       
דרג לפי חשיבות הנושא  דרג לפי חשיבות הנושא   



© כל הזכויות שמורות ל-רוטר.נט בע"מ rotter.net