רוטר - יש דרך נחמדה לזהות charset של קובץ?

יומן פעילות	לוח שנה	מבזקי חדשות	תקנון	RSS	כותרות	כותרות לפי תגובה	ניקוי קוקיז	IP	להורדת אפליקציה
eBay	AliExpress	GearBest	Amazon	Booking	Kiwi	SkyScanner	Trip Advisor

"יש דרך נחמדה לזהות charset של קובץ?"

גירסת הדפסה

קבוצות דיון פיתוח, תיכנות ובניית אתרים נושא #11192	מנהל סגן המנהל מפקח Winner צל"ש מומחה

אשכול מספר 11192

יוחאי
חבר מתאריך 30.12.15
163 הודעות, דרג אמינות חבר זה

13:23 24.02.13

יש דרך נחמדה לזהות charset של קובץ?

יש לי קוד שעושה pull מהרשת להמון המון קבצים, את כולם הוא מביא על הנחת היסוד שהם UTF-8 אבל כמובן שלא תמיד זה ככה, השאלה שלי היא מה הדרך הכי נכונה לזהות את הקידוד של הקובץ?

אני לא כותב לגבי שפת תיכנות ספציפית, כי אני מניח שאני אוכל לממש את זה אם אני אבין את הרעיון מאחורי זה.

שתף

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

האשכול	מחבר	תאריך כתיבה	מספר
אולי זה יעזור לך	yaiRy	24.02.13 13:38	1
המממ perl מעניין אם אני אוכל להריץ את זה דרך nodejs	יוחאי	24.02.13 14:46	2
טוב נו בסוף הלכתי על פתרון שונה,	יוחאי	24.02.13 18:59	3

yaiRy
חבר מתאריך 14.9.08
4903 הודעות

13:38 24.02.13

1. אולי זה יעזור לך
בתגובה להודעה מספר 0

http://search.cpan.org/~jgmyers/Encode-Detect-0.01/Detect.pm

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

יוחאי
חבר מתאריך 30.12.15
163 הודעות, דרג אמינות חבר זה

14:46 24.02.13

2. המממ perl מעניין אם אני אוכל להריץ את זה דרך nodejs
בתגובה להודעה מספר 1

מצאתי את הדבר הזה גם
http://userguide.icu-project.org

אני כרגע מנסה לעשות לו build + לשלב אותו כmodule בnodejs.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד

יוחאי
חבר מתאריך 30.12.15
163 הודעות, דרג אמינות חבר זה

18:59 24.02.13

3. טוב נו בסוף הלכתי על פתרון שונה,
בתגובה להודעה מספר 1

אני סורק htmlים לרוב הם מכילים תגיות meta שפחות או יותר מצביעות על הקידוד של הקובץ, אם יש לי, אז אני משתמש בnode-iconv כדי להפוך את זה לutf-8 אם אין לי אז שומר את זה אוטומאטית כ-utf-8.

(ניהול: מחק תגובה)

מכתב זה והנלווה אליו, על אחריות ועל דעת הכותב בלבד