94 lines
23 KiB
Plaintext
94 lines
23 KiB
Plaintext
|
§
|
|||
|
|
Ódiª4 ã ó — d Z ddlmZ ddlZddlZddlZddlmZ ddlm Z m
|
|||
|
|
Z
|
|||
|
|
m Z m Z ddl
|
|||
|
|
mZmZmZ ddlmZmZmZ ddlmZ dd lmZ dd
|
|||
|
|
lmZ dd lm Z dd l m Z dd
|
|||
|
|
l m Z m!Z! ddl"m#Z# ddl$m%Z% ddl&m'Z' ddl"m(Z( ddl"m)Z) e G d„ d¦ « ¦ « Z* e* ej+ ¦ « ¬¦ « Z, e%¦ « Z- edd¬¦ « Z"e" . e dgddgdgdg¬¦ « e" / d eej0 1 e#j2 d ¦ « ¬ ¦ « d ¬ ¦ « eej0 1 e#j2 d ¦ « ¬ ¦ « Z3e" 4 d!¦ « d"„ ¦ « Z5e" 4 d#¦ « d$„ ¦ « Z6 G d%„ d&e ¦ « Z7 G d'„ d(e ¦ « Z8 G d)„ d*e ¦ « Z9 G d+„ d,e ¦ « Z: G d-„ d.e ¦ « Z;e" < d/e¬0¦ « ded3„¦ « Z=dfd6„Z>dgd8„Z?dhd;„Z@did=„ZAe" < d>e8¬?¦ « d@„ ¦ « ZBe" C dA¦ « dB„ ¦ « ZDe" < dC¦ « djdkdG„¦ « ZEe" < dHe9¬?¦ « dI„ ¦ « ZFe" C dH¦ « dldK„¦ « ZGe" H dL¦ « dldM„¦ « ZIe" H dH¦ « dN„ ¦ « ZJe" < dO¦ « dP„ ¦ « ZKe" < dQe:¬?¦ « dR„ ¦ « ZLe" < dSe;¬?¦ « dT„ ¦ « ZMe" C dU¦ « dV„ ¦ « ZNe" C dW¦ « dX„ ¦ « ZOe" C dY¦ « dZ„ ¦ « ZPe" C d[¦ « dmd^„¦ « ZQe" C d_¦ « d`„ ¦ « ZRe" < da¦ « dldb„¦ « ZSe" < dc¦ « dd„ ¦ « ZTdS )nu€ web.py - FastAPI å�Žç«¯
|
|||
|
|
|
|||
|
|
ç›®æ ‡ï¼š
|
|||
|
|
- æ��供基本的 Web UI + API（å�¯åŠ¨/å�œæ¢é‡‡é›†ã€�导入用户ã€�登录/验è¯�ã€�日志ã€�SSE）
|
|||
|
|
- å�•è´¦å�·ç™»å½•æ€�长期å¤�用（storage_state ä¿�å˜ï¼‰
|
|||
|
|
- txt 导入：支æŒ�“数å—å°�红书å�·â€�自动解æž�为 profile_id（并缓å˜ï¼Œä½Žé¢‘，å‡�少风控）
|
|||
|
|
- ç§»é™¤æ— ç”¨/冗余的调试/自更新接å�£ï¼Œä»£ç �ä¿�æŒ�清晰å�¯ç»´æŠ¤
|
|||
|
|
é )Ú annotationsN)Ú dataclass)ÚListÚOptionalÚDictÚAny)ÚFastAPIÚ
|
|||
|
|
HTTPExceptionÚBackgroundTasks)Ú HTMLResponseÚStreamingResponseÚPlainTextResponse)Ú StaticFiles)ÚJinja2Templates)ÚRequest)ÚCORSMiddleware)Ú BaseModel)Úasync_playwrightÚBrowser)Úconfig)Ú
|
|||
|
|
LogManager)ÚXiaoHongShuScraper)Ú auth_manager)Ú
|
|||
|
|
user_resolverc óV — e Zd ZU dZded< dZded< dZded< dZd ed
|
|||
|
|
< dZd ed < dS )
|
|||
|
|
ÚAppStateFÚboolÚ
|
|||
|
|
is_runningNz Optional[XiaoHongShuScraper]ÚscraperzOptional[asyncio.Queue]Ú event_queuer Ú
|
|||
|
|
playwrightzOptional[Browser]Úbrowser) Ú__name__Ú
|
|||
|
|
__module__Ú __qualname__r Ú__annotations__r r r! r" © ó ú /mnt/data/xhs_proj/app/web.pyr r ( sg € € € € € € à €JÐ Ð Ð Ñ Ø,0€GÐ0Ð0Ð0Ñ0Ø+/€KÐ/Ð/Ð/Ñ/Ø€JÐÐÐÑØ!%€GÐ%Ð%Ð%Ñ%Ð%Ð%r( r )r u å°�红书数æ�®é‡‡é›†å™¨z1.1.0)ÚtitleÚversionÚ*T)Ú
|
|||
|
|
allow_originsÚallow_credentialsÚ
|
|||
|
|
allow_methodsÚ
|
|||
|
|
allow_headersÚexpose_headersz/staticÚstatic)Ú directory)ÚnameÚ templatesÚstartupc ƒ óP K — t ¦ « ¦ « ƒ d {V —†t _ t j j t j t j ¬¦ « ƒ d {V —†t _ t ddt j › d�¦ « d S )N)ÚheadlessÚargsÚINFOzBrowser launched (headless=ú)) r ÚstartÚ app_stater! ÚchromiumÚlaunchr ÚHEADLESSÚ BROWSER_ARGSr" Ú log_managerÚappendr' r( r) Ú
|
|||
|
|
on_startuprD I s è è € õ "2Ñ!3Ô!3×!9Ò!9Ñ!;Ô!;Ð;Ð;Ð;Ð;Ð;Ð;…IÔÝ 'Ô 2Ô ;× BÒ BÝ” Ý
|
|||
|
|
Ô
|
|||
|
|
ð Cñ ô ð ð ð ð ð ð …IÔõ ×Ò�vÐ O½V¼_Ð OÐ OÐ OÑPÔPÐPÐPÐPr( Úshutdownc ƒ óD K — t j r$t j ¦ « ƒ d {V —† d t _ n# d t _ w xY w t j r$t j ¦ « ƒ d {V —† d t _ d S # d t _ w xY w)N)r= r" Úcloser! Ústopr' r( r) Ú on_shutdownrI T sµ è è € ð!Ý Ô ð ,ÝÔ#×)Ò)Ñ+Ô+Ð +Ð +Ð +Ð +Ð +Ð +Ð +à � ÔÐø˜D� ÔÐ Ð Ð Ð ð$Ý Ô ð .ÝÔ&×+Ò+Ñ-Ô-Ð -Ð -Ð -Ð -Ð -Ð -Ð -à #� Ô Ð Ð ø˜t� Ô Ð#Ð#Ð#Ð#s „0A ÁAÁ0B ÂB c ó, — e Zd ZU dZded< dZded< dS )Ú StartRequestÚsingleÚstrÚmodeé ÚintÚ max_threadsN)r# r$ r% rN r& rQ r' r( r) rK rK h s4 € € € € € € Ø€DÐÐÐÑØ€KÐÐÐÑÐÐr( rK c ó6 — e Zd ZU ded< dZded< dZded< dS ) ÚStatusResponser ÚrunningNú
|
|||
|
|
Optional[str]rN r rP Ú
|
|||
|
|
user_count)r# r$ r% r& rN rV r' r( r) rS rS m s= € € € € € € Ø€M€M�MØ €DÐ Ð Ð Ñ Ø€JÐÐÐÑÐÐr( rS c ó$ — e Zd ZU ded< ded< dS )Ú
|
|||
|
|
UsersResponseú List[str]ÚusersrP ÚcountN)r# r$ r% r& r' r( r) rX rX s s% € € € € € € ØÐÐÑØ€J€J�J€J€Jr( rX c ó‚ — e Zd ZU ded< ded< ded< ded< ded< ded< ded < ded
|
|||
|
|
< ded < d ed
|
|||
|
|
< g Zded< dS )ÚImportResponserY rZ rP r[ Ú total_linesÚimportedÚskippedÚresolvedÚfailed_resolveÚ
|
|||
|
|
duplicatesÚinvalidrM ÚmessageÚfailed_examplesN)r# r$ r% r& rf r' r( r) r] r] x s† € € € € € € ØÐÐÑØ€J€J�JØÐÐÑØ€M€M�MØ€L€L�LØ€M€M�MØÐÐÑØ€O€O�OØ€L€L�LØ€L€L�Là!#€OÐ#Ð#Ð#Ñ#Ð#Ð#r( r] c óD — e Zd ZU ded< dZded< dZded< dZded< dS )ÚLoginStatusResponser Ú logged_inNrU Ú
|
|||
|
|
login_timeÚlast_verified_timere )r# r$ r% r& rj rk re r' r( r) rh rh ‡ sO € € € € € € Ø€O€O�OØ $€JÐ$Ð$Ð$Ñ$Ø(,ÐÐ,Ð,Ð,Ñ,Ø !€GÐ!Ð!Ð!Ñ!Ð!Ð!r( rh ú/)Úresponse_classÚrequestr c ƒ ó@ K — t dd| i¦ « S )Nz
|
|||
|
|
index.htmlrn )r5 ÚTemplateResponse)rn s r) Úindexrq ’ s! è è € å × %Ò % l°YÀÐ4HÑ IÔ IÐIr( ÚreturnrM c óV — t j t j d¦ « S )Nz users.txt)ÚosÚpathÚjoinr ÚDATA_DIRr' r( r) Ú _users_filerx › s € Ý
|
|||
|
|
Œ7�<Š<�œ¨Ñ 5Ô 5Ð5r( rY c ó¨ — t ¦ « } t j | ¦ « sg S g }t | dd¬¦ « 5 }|D ].}| ¦ « }|sŒ| |¦ « Œ/ d d d ¦ « n # 1 swxY w Y t ¦ « }g }|D ]1}||v rŒ| |¦ « | |¦ « Œ2|S )NÚrúutf-8©Úencoding) rx rt ru ÚexistsÚopenÚstriprC ÚsetÚadd)ru rZ ÚfÚlineÚseenÚoutÚus r) Úread_users_txtrˆ Ÿ s# € Ý ‰=Œ=€DÝ
|
|||
|
|
Œ7�>Š>˜$Ñ Ô ð ؈ Ø€EÝ
|
|||
|
|
ˆd�C 'Ð *Ñ *Ô *ð ¨aØð ð ˆDØ—:’:‘<”<ˆDØð
|
|||
|
|
ØØ �LŠL˜Ñ Ô Ð Ð ð ð ð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ ‰5Œ5€DØ
|
|||
|
|
€CØ
|
|||
|
|
ð ð ˆØ �ˆ9ˆ9Ø Ø �Š�‰ Œ ˆ Ø �
|
|||
|
|
Š
|
|||
|
|
�1‰
|
|||
|
|
Œ
|
|||
|
|
ˆ
|
|||
|
|
ˆ
|
|||
|
|
Ø €Js Á2BÂBÂ
|
|||
|
|
BrZ ÚNonec óæ — t ¦ « }|dz }t |dd¬¦ « 5 }| D ]}| |dz ¦ « Œ d d d ¦ « n # 1 swxY w Y t j ||¦ « d S )Nz.tmpÚwr{ r| ú
|
|||
|
|
)rx r Úwritert Úreplace)rZ ru Útmprƒ r‡ s r) Úwrite_users_txtr� µ s € Ý ‰=Œ=€DØ
|
|||
|
|
�‰-€CÝ
|
|||
|
|
ˆc�3 Ð )Ñ )Ô )ð ¨QØð ð ˆAØ
|
|||
|
|
�GŠG�A˜‘HÑ Ô Ð Ð ð ð ð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ „Jˆs�DÑÔÐÐÐs ¦ AÁAÁAr c óT — t j €t dd¬¦ « ‚t j S )Néô zBrowser not ready©Ú status_codeÚdetail)r= r" r
|
|||
|
|
r' r( r) Úrequire_browserr– ¾ s( € ÝÔРݨÐ4GÐHÑHÔHÐHÝ Ô Ð r( z /api/status)Úresponse_modelc ƒ ó¾ K — t t j t j rt t j dd ¦ « nd t t
|
|||
|
|
¦ « ¦ « ¬¦ « S )NrN )rT rN rV )rS r= r r ÚgetattrÚlenrˆ r' r( r) Ú
|
|||
|
|
api_statusr› È sT è è € å ÝÔ$Ý9BÔ9JÐ
|
|||
|
|
T�W•YÔ&¨°Ñ
|
|||
|
|
5Ô
|
|||
|
|
5Ð
|
|||
|
|
5ÐPTÝ•~Ñ'Ô'Ñ(Ô(ð ñ ô ð r( z/api/logs/clearc ƒ ó@ K — t ¦ « ddiS ©NÚsuccessT)rB Úclearr' r( r) Ú
|
|||
|
|
clear_logsr Ñ s# è è € å×ÒÑÔÐØ �tÐ Ð r( z /api/logséÈ ÚlimitrP c ƒ ó@ K — dt | ¬¦ « iS )NÚlogs©r¢ )rB Ú
|
|||
|
|
get_latestr¥ s r) Úget_logsr§ × s" è è € à •K×*Ò*°Ð*Ñ7Ô7Ð 8Ð8r( z
|
|||
|
|
/api/usersc ƒ ó^ K — t ¦ « } t | t | ¦ « ¬¦ « S )N)rZ r[ )rˆ rX rš )rZ s r) Ú get_usersr© à s* è è € å Ñ Ô €EÝ ˜uC°©J¬JÐ 7Ñ 7Ô 7Ð7r( Úuser_idc ƒ óÖ K — | pd ¦ « } | st dd¬¦ « ‚t ¦ « }| |v rdddœS | | ¦ « t |¦ « ddiS ) NÚ é� u user_id ä¸�能为空r“ Tu å·²å˜åœ¨©rž re rž )r€ r
|
|||
|
|
rˆ rC r� ©rª rZ s r) Úadd_userr° æ s‡ è è € àˆ}˜"×#Ò#Ñ%Ô%€GØ ð LݨÐ4JÐKÑKÔKÐKå Ñ Ô €EØ�%ÐÐØ ¨KÐ8Ð8Ð8à ‡L‚L�ÑÔÐÝ�EÑÔÐØ �tÐ Ð r( z/api/users/{user_id}c ƒ óf ‡ K — t ¦ « }ˆ fd„|D ¦ « }t |¦ « ddiS )Nc ó •— g | ]
|
|||
|
|
}|‰k ¯|‘Œ S r' r' )Ú.0r‡ rª s €r) ú
|
|||
|
|
<listcomp>z delete_user.<locals>.<listcomp>ø s ø€ Ð .Ð .Ð .�1 g¢ ˆQ r( rž T)rˆ r� r¯ s ` r) Ú delete_userrµ õ sD øè è € å Ñ Ô €EØ .Ð .Ð .Ð .˜Ð .Ñ .Ô .€EÝ�EÑÔÐØ �tÐ Ð r( c ƒ ó, K — t g ¦ « ddiS r� )r� r' r( r) Údelete_all_usersr· ý s è è € å�BÑÔÐØ �tÐ Ð r( z/api/users/export/txtc ƒ ób K — t d t ¦ « ¦ « ¦ « S )Nz\n)r rv rˆ r' r( r) Úexport_users_txtr¹ s& è è € å ˜UŸZšZÑ(8Ô(8Ñ 9Ô 9Ñ :Ô :Ð:r( z/api/users/import/txtc
|
|||
|
|
ƒ óæ K — t ¦ « } t j | ¦ « st dd¬¦ « ‚t | dd¬¦ « 5 }d„ |D ¦ « }ddd¦ « n # 1 swxY w Y t
|
|||
|
|
|¦ « }t ¦ « }g }d }d }d }d } d }
|
|||
|
|
g } t ¦ « } g }
|
|||
|
|
|D �]}t j
|
|||
|
|
|¦ « \ }}}|rI| ¦ « }|| v r|d
|
|||
|
|
z
|
|||
|
|
}Œ;| |¦ « |
|
|||
|
|
|¦ « Œf|r|
|
|||
|
|
|
|||
|
|
||f¦ « Œ€| ¦ « rN| ¦ « d ¦ « s'| ¦ « d ¦ « r|d
|
|||
|
|
z
|
|||
|
|
}n0|d
|
|||
|
|
z
|
|||
|
|
}t
|
|||
|
|
| ¦ « d
|
|||
|
|
k r|
|
|||
|
|
d|› �¦ « �Œ|
|
|||
|
|
D ]Æ\ }}t j ||d¬¦ « ƒ d{V —†\ }}|s8|
|
|||
|
|
d
|
|||
|
|
z
|
|||
|
|
}
|
|||
|
|
t
|
|||
|
|
| ¦ « d
|
|||
|
|
k r |
|
|||
|
|
d|› d|› d|› d�¦ « Œ_| ¦ « }|| v r|d
|
|||
|
|
z
|
|||
|
|
}Œ}| |¦ « |
|
|||
|
|
|¦ « | d
|