62 lines
8.8 KiB
Plaintext
62 lines
8.8 KiB
Plaintext
|
§
|
|||
|
|
sÑdiñ ã óÜ — d Z ddlmZ ddlZddlZddlZddlZddlmZ ddl m
|
|||
|
|
Z
|
|||
|
|
m Z m Z ddl
|
|||
|
|
mZ ddlmZ ej ej d¦ « Zd d „Zd d„Zd!d„Zd"d„Zddœd#d „ZdS )$uŠ user_resolver.py
|
|||
|
|
|
|||
|
|
将“数å—å°�红书å�·ï¼ˆä¾‹å¦‚ 11432840954）â€�解æž�æˆ� profile_id（/user/profile/{profile_id} 里的那串）。
|
|||
|
|
- 使用 Playwright 打开�索结果页（更接近真实�览器，风险更低）
|
|||
|
|
- 解æž� HTMLï¼šæ ¹æ�® 'å°�红书å�·ï¼š<keyword>' 定ä½�，å†�æ��å�–附近的 profile href
|
|||
|
|
- 强制缓å˜ï¼šdata/profile_map.json，é�¿å…�é‡�å¤�æ�œç´¢é€ æˆ�风控压力
|
|||
|
|
é )Ú annotationsN)Úunescape)ÚDictÚOptionalÚTuple)ÚBrowser)Úconfigzprofile_map.jsonÚreturnúDict[str, str]c ó — t j t ¦ « si S t t dd¬¦ « 5 } t j | ¦ « pi cd d d ¦ « S # 1 swxY w Y d S # t $ r i cY S w xY w)NÚrúutf-8©Úencoding)ÚosÚpathÚexistsÚPROFILE_MAP_FILEÚopenÚjsonÚloadÚ Exception)Úfs ú'/mnt/data/xhs_proj/app/user_resolver.pyÚ _load_mapr sÎ € Ý
|
|||
|
|
Œ7�>Š>Õ*Ñ +Ô +ð ؈ ðÝ
|
|||
|
|
Õ" C°'Ð
|
|||
|
|
:Ñ
|
|||
|
|
:Ô
|
|||
|
|
:ð &¸aÝ”9˜Q‘<”<Ð% 2ð &ð &ð &ð &ñ &ô &ð &ð &ð &ð &ð &ð &øøøð &ð &ð &ð &ð &ð &øå ð ð ð ؈ ˆ ˆ ðøøøs4 ¨A/ ¿A"Á A/ Á"A&Á&A/ Á)A&Á*A/ Á/ A>Á=A>ÚmÚNonec óÒ — t dz }t |dd¬¦ « 5 }t j | |dd¬¦ « d d d ¦ « n # 1 swxY w Y t j |t ¦ « d S )Nz.tmpÚwr r Fé )Ú ensure_asciiÚindent)r r r Údumpr Úreplace)r Útmpr s r Ú _save_mapr& $ s¥ € Ý
|
|||
|
|
˜VÑ
|
|||
|
|
#€CÝ
|
|||
|
|
ˆc�3 Ð )Ñ )Ô )ð 6¨QÝ Œ �!�Q U°1Ð5Ñ5Ô5Ð5ð6ð 6ð 6ñ 6ô 6ð 6ð 6ð 6ð 6ð 6ð 6øøøð 6ð 6ð 6ð 6å„JˆsÕ$Ñ%Ô%Ð%Ð%Ð%s �AÁAÁ AÚhtmlÚstrÚkeywordú
|
|||
|
|
Optional[str]c óB — | sdS t | ¦ « } d|› �}| |¦ « }|dk rdS t d|dz
|
|||
|
|
¦ « }t t | ¦ « |dz ¦ « }| ||… }t j d|¦ « }|sdS | d¦ « S )uC 从 search_result HTML ä¸è§£æž�出对应 keyword çš„ profile_id。Nu å°�红书å�·ï¼šéÿÿÿÿr iˆ z%href="\/user\/profile\/([0-9a-fA-F]+)é )r ÚfindÚmaxÚminÚlenÚreÚsearchÚgroup)r' r) ÚmarkerÚidxÚstartÚendÚchunkr s r Ú#extract_profile_id_from_search_htmlr: + s® € à ð ؈tå �D‰>Œ>€DØ
|
|||
|
|
(˜wÐ
|
|||
|
|
(Ð
|
|||
|
|
(€FØ
|
|||
|
|
�)Š)�FÑ
|
|||
|
|
Ô
|
|||
|
|
€CØ
|
|||
|
|
ˆb‚y€y؈tå ��3˜‘:Ñ Ô €EÝ
|
|||
|
|
|
|||
|
|
�c�$‰iŒi˜˜t™Ñ
|
|||
|
|
$Ô
|
|||
|
|
$€CØ ��s�ŒO€Eå
|
|||
|
|
Œ Ð:¸EÑBÔB€AØ ð ؈tØ �7Š7�1‰:Œ:Ðó Úlineú2Tuple[Optional[str], Optional[str], Optional[str]]c óÜ — | ¦ « }|sdS | d¦ « s| d¦ « rdS d}d|v rC| dd¦ « \ }}| ¦ « }| ¦ « pd}| ¦ « }|r|d ¦ « nd}t |¦ « dk r3|s1d |dd… ¦ « ¦ « pd}t j d |¦ « }|rd| d¦ « |fS t j d
|
|||
|
|
|¦ « rd||fS t j d |¦ « r|d|fS dd|fS ) u; 解æž�一行 txt，返回 (keywordæ•°å—, profile_id, label备注) 三者之一。
|
|||
|
|
|
|||
|
|
å…�è®¸æ ¼å¼�：
|
|||
|
|
- 11432840954
|
|||
|
|
- 11432840954 å¼ ä¸‰
|
|||
|
|
- https://www.xiaohongshu.com/user/profile/<profile_id> ...
|
|||
|
|
- /user/profile/<profile_id> ...
|
|||
|
|
- profile_id(å��å…进制串)
|
|||
|
|
- 支�行尾 # 备注
|
|||
|
|
)NNNú#z//Nr- r Ú ú z /user/profile/([0-9a-fA-F]+)z[0-9a-fA-F]{8,}z\d{5,20}) ÚstripÚ
|
|||
|
|
startswithÚsplitr1 Újoinr2 r3 r4 Ú fullmatch)r< ÚrawÚlabelÚpartsÚcorer s r Ú parse_line_to_keyword_or_profilerK @ s‚ € ð �*Š*‰,Œ,€CØ ð Ø Ð ð ‡~‚~�cÑÔð ˜cŸnšn¨TÑ 2Ô 2ð Ø Ð ð
|
|||
|
|
€EØ
|
|||
|
|
ˆc€z€zØ—Y’Y˜s AÑ&Ô&‰
|
|||
|
|
ˆˆUØ�iŠi‰kŒkˆØ— ’ ‘
|
|||
|
|
”
|
|||
|
|
Ð% ˆà �IŠI‰KŒK€EØ $Ð ,ˆ5�Œ8�>Š>Ñ Ô Ð ¨"€DÝ
|
|||
|
|
ˆ5�z„z�A‚~€~˜e€~Ø—’˜˜q˜r˜rœÑ#Ô#×)Ò)Ñ+Ô+Ð3¨tˆõ Œ Ð1°4Ñ8Ô8€AØð 'Ø�Q—W’W˜Q‘Z”Z Ð&Ð&õ
|
|||
|
|
„|Ð&¨Ñ-Ô-ð !Ø�T˜5Ð Ð õ
|
|||
|
|
„|�K Ñ&Ô&ð !Ø�T˜5Ð Ð à ��uÐ Ð r; T)Ú slow_modeÚbrowserr rL ÚboolúTuple[Optional[str], str]c ƒ ó K — t ¦ « }||v r
|
|||
|
|
|| dfS | ¦ « ƒ d{V —†}| ¦ « ƒ d{V —†} t j › d|› d�}| |dd¬¦ « ƒ d{V —† |r¼| t t j dd ¦ « ¦ « ¦ « ƒ d{V —† |j
|
|||
|
|
d
|
|||
|
|
t j d d ¦ « ¦ « ƒ d{V —† n# t $ r Y nw xY w| t t j d
|
|||
|
|
d¦ « ¦ « ¦ « ƒ d{V —† | ¦ « ƒ d{V —†}t ||¦ « }|s[ | ¦ « ƒ d{V —† n# t $ r Y nw xY w | ¦ « ƒ d{V —† dS # t $ r Y dS w xY w|||< t# |¦ « |df | ¦ « ƒ d{V —† n# t $ r Y nw xY w | ¦ « ƒ d{V —† S # t $ r Y S w xY w# t $ rh} dd| › �fcY d} ~ | ¦ « ƒ d{V —† n# t $ r Y nw xY w | ¦ « ƒ d{V —† S # t $ r Y S w xY wd} ~ ww xY w# | ¦ « ƒ d{V —† n# t $ r Y nw xY w | ¦ « ƒ d{V —† w # t $ r Y w w xY wxY w)uZ å°†æ•°å— keyword 解æž�æˆ� profile_id，并写入缓å˜ã€‚返回 (profile_id, message)。ÚcacheNz/search_result?keyword=z&source=unknownÚdomcontentloadedi N )Ú
|
|||
|
|
wait_untilÚtimeouti i@ r éÈ iX i� iè )NÚ not_foundÚokzerror:)r Ú new_contextÚnew_pager ÚXIAOHONGSHU_BASE_URLÚgotoÚwait_for_timeoutÚintÚrandomÚuniformÚmouseÚwheelÚrandintr Úcontentr: Úcloser& )
|
|||
|
|
rM r) rL r ÚcontextÚpageÚurlr' ÚpidÚes
|
|||
|
|
r Ú resolve_keyword_to_profile_idrj o sr è è € å‰ Œ €AØ�!€|€|Ø�Œz˜7Ð"Ð"ð ×'Ò'Ñ)Ô)Ð)Ð)Ð)Ð)Ð)Ð)€GØ×!Ò!Ñ#Ô#Ð #Ð #Ð #Ð #Ð #Ð #€Dð ÝÔ,Ð]Ð]ÀWÐ]Ð]Ð]ˆØ�iŠi˜Ð(:ÀEˆiÑJÔJÐJÐJÐJÐJÐJÐJÐJð ð HØ×'Ò'F¬N¸3ÀÑ,EÔ,EÑ(FÔ(FÑGÔGÐ GÐ GÐ GÐ GÐ GÐ GÐ Gð
|
|||
|
|
Ø”j×&Ò& q&¬.¸¸cÑ*BÔ*BÑCÔCÐCÐCÐCÐCÐCÐCÐCÐCøÝ ð
|
|||
|
|
ð
|
|||
|
|
ð
|