抓取车辆
This commit is contained in:
@@ -105,10 +105,31 @@ class UsedCarCrawlSingle
|
||||
if (json_last_error() !== JSON_ERROR_NONE) {
|
||||
$imagesArray = [];
|
||||
}
|
||||
$saveDir = public_path('uploads/usedcar/' . $info['used_car_id']);
|
||||
$image = $this->uploadAndRemove($imagesArray, $saveDir);
|
||||
$info['image'] = $image['image'];
|
||||
$info['image_pull'] = $image['image_pull'];
|
||||
|
||||
Log::info('抓取到的图片数量', [
|
||||
'url' => $url,
|
||||
'images_count' => count($imagesArray),
|
||||
'images' => $imagesArray,
|
||||
]);
|
||||
|
||||
if (!empty($imagesArray)) {
|
||||
$saveDir = public_path('uploads/usedcar/' . $info['used_car_id']);
|
||||
$image = $this->uploadAndRemove($imagesArray, $saveDir);
|
||||
if ($image !== false) {
|
||||
$info['image'] = $image['image'];
|
||||
$info['image_pull'] = $image['image_pull'];
|
||||
Log::info('图片上传成功', [
|
||||
'uploaded_count' => count($image['image']),
|
||||
]);
|
||||
} else {
|
||||
$info['image'] = [];
|
||||
$info['image_pull'] = [];
|
||||
Log::warning('图片上传失败', ['url' => $url]);
|
||||
}
|
||||
} else {
|
||||
$info['image'] = [];
|
||||
$info['image_pull'] = [];
|
||||
}
|
||||
|
||||
// 继续派发配置页任务
|
||||
// if (!empty($info['car_id_url'])) {
|
||||
@@ -382,6 +403,8 @@ class UsedCarCrawlSingle
|
||||
public function downloadImageAlbum(array $urls, string $saveDir, string $referer): array
|
||||
{
|
||||
$result = [];
|
||||
$successCount = 0;
|
||||
$failCount = 0;
|
||||
|
||||
foreach ($urls as $url) {
|
||||
$url = trim((string)$url);
|
||||
@@ -395,13 +418,29 @@ class UsedCarCrawlSingle
|
||||
|
||||
try {
|
||||
$path = $this->downloadImage($url, $saveDir, $referer);
|
||||
if ($path !== null) {
|
||||
$successCount++;
|
||||
} else {
|
||||
$failCount++;
|
||||
}
|
||||
} catch (Throwable $e) {
|
||||
$failCount++;
|
||||
Log::error('下载图片失败', [
|
||||
'url' => $url,
|
||||
'error' => $e->getMessage(),
|
||||
]);
|
||||
$path = null;
|
||||
}
|
||||
|
||||
$result[$url] = $path;
|
||||
}
|
||||
|
||||
Log::info('图片下载完成', [
|
||||
'total' => count($urls),
|
||||
'success' => $successCount,
|
||||
'fail' => $failCount,
|
||||
]);
|
||||
|
||||
return $result;
|
||||
}
|
||||
|
||||
|
||||
Reference in New Issue
Block a user