This commit is contained in:
@@ -46,7 +46,7 @@ class UniversalParser(BaseParser):
|
||||
"""
|
||||
print(f"Начало парсинга: {self.url} с промтом: {self.promt}")
|
||||
self.start_task(self.url)
|
||||
|
||||
num = 0
|
||||
try:
|
||||
response = requests.get(self.url)
|
||||
# print(response.text)
|
||||
@@ -85,6 +85,7 @@ class UniversalParser(BaseParser):
|
||||
print("URL:", abs_url)
|
||||
|
||||
if len(article.text) > 200 and article.publish_date:
|
||||
num += 1
|
||||
# Если дата публикации отсутствует - используем текущую
|
||||
if article.publish_date:
|
||||
time_text = article.publish_date.strftime("%Y/%m/%d %H:%M:%S")
|
||||
@@ -109,7 +110,8 @@ class UniversalParser(BaseParser):
|
||||
print(f"Ошибка при обработке статьи {abs_url}: {e}")
|
||||
logger.info(f"Ошибка при обработке статьи {abs_url}: {e}")
|
||||
continue
|
||||
|
||||
if num:
|
||||
wp.update_source_status(url)
|
||||
self.complete_task()
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user