allowlgroup/parser
5
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

изменил старт первого источника
All checks were successful
continuous-integration/drone/push Build is passing
Details

Browse Source
This commit is contained in:
admin
2026-04-11 13:50:51 +10:00
parent 4720aa05bc
commit 7e05dda3cb
2 changed files with 17 additions and 17 deletions
Download Patch File Download Diff File Expand all files Collapse all files

4
main.py
View File

@@ -305,9 +305,9 @@ def update_bd_and_create_document(response_text, article_date, url, parsed_at, o
#Функции start первого источника (газета) #Функции start первого источника (газета)
def start_pars_one_istochnik(data_init=""): def start_pars_one_istochnik(data_init=""):
if data_init != ['']: if data_init != ['']:
current_day = data_init[0] current_day = data_init[2]
current_month = data_init[1] current_month = data_init[1]
current_year = data_init[2] current_year = data_init[0]
else: else:
datetime_now = dt.now() datetime_now = dt.now()
current_day = create_folder(datetime_now.day) current_day = create_folder(datetime_now.day)

30
work_parser.py
View File

@@ -48,7 +48,7 @@ def create_table():
""") """)
print("Таблица work_parser создана или уже существует") print("Таблица work_parser создана или уже существует")
finally: finally:
pass # Не закрываем подключение pass
def insert_task(status, source_url=None, source_id=None, priority=0): def insert_task(status, source_url=None, source_id=None, priority=0):
conn = get_connection() conn = get_connection()
@@ -62,7 +62,7 @@ def insert_task(status, source_url=None, source_id=None, priority=0):
task_id = cur.fetchone()[0] task_id = cur.fetchone()[0]
return task_id return task_id
finally: finally:
pass # Не закрываем подключение pass
def get_tasks_offset(limit, offset): def get_tasks_offset(limit, offset):
conn = get_connection() conn = get_connection()
@@ -76,7 +76,7 @@ def get_tasks_offset(limit, offset):
tasks = cur.fetchall() tasks = cur.fetchall()
return tasks return tasks
finally: finally:
pass # Не закрываем подключение pass
def delete_task(task_id: int): def delete_task(task_id: int):
conn = get_connection() conn = get_connection()
@@ -89,7 +89,7 @@ def delete_task(task_id: int):
else: else:
return {"message": f"Задача с id {task_id} не найдена"} return {"message": f"Задача с id {task_id} не найдена"}
finally: finally:
pass # Не закрываем подключение pass
def update_task(task_id, **fields): def update_task(task_id, **fields):
conn = get_connection() conn = get_connection()
@@ -109,7 +109,7 @@ def update_task(task_id, **fields):
cur.execute(f"UPDATE work_parser SET {set_sql} WHERE id = %s;", values) cur.execute(f"UPDATE work_parser SET {set_sql} WHERE id = %s;", values)
return True return True
finally: finally:
pass # Не закрываем подключение pass
# Создание и работа с таблицей по созданию и редактированию промтов # Создание и работа с таблицей по созданию и редактированию промтов
def create_table_config_gpt(): def create_table_config_gpt():
@@ -125,7 +125,7 @@ def create_table_config_gpt():
""") """)
print("Таблица config_gpt создана или уже существует") print("Таблица config_gpt создана или уже существует")
finally: finally:
pass # Не закрываем подключение pass
def update_promt(url: str, name: str, promt: str): def update_promt(url: str, name: str, promt: str):
conn = get_connection() conn = get_connection()
@@ -140,7 +140,7 @@ def update_promt(url: str, name: str, promt: str):
""", (url, name, promt)) """, (url, name, promt))
conn.commit() conn.commit()
finally: finally:
pass # Не закрываем подключение pass
def get_promt(promt_name_url): def get_promt(promt_name_url):
conn = get_connection() conn = get_connection()
@@ -150,7 +150,7 @@ def get_promt(promt_name_url):
promt = cur.fetchone() promt = cur.fetchone()
return promt['promt'] return promt['promt']
finally: finally:
pass # Не закрываем подключение pass
def get_all_promt(): def get_all_promt():
# Возвращает список всех значений поля name из таблицы config_gpt # Возвращает список всех значений поля name из таблицы config_gpt
@@ -163,7 +163,7 @@ def get_all_promt():
sources = [{"url": row["url"], "name": row["name"], "promt": row["promt"]} for row in rows] sources = [{"url": row["url"], "name": row["name"], "promt": row["promt"]} for row in rows]
return {"sources": sources} return {"sources": sources}
finally: finally:
pass # Не закрываем подключение pass
def get_all_categories_promt(): def get_all_categories_promt():
conn = get_connection() conn = get_connection()
@@ -174,7 +174,7 @@ def get_all_categories_promt():
return [row["name"] for row in rows] return [row["name"] for row in rows]
finally: finally:
pass # Не закрываем подключение pass
# Создание, сохранение и работа с таблицей ошибочных ссылок (error_url) # Создание, сохранение и работа с таблицей ошибочных ссылок (error_url)
def create_table_error_url(): def create_table_error_url():
@@ -190,7 +190,7 @@ def create_table_error_url():
""") """)
print("Таблица error_url создана или уже существует") print("Таблица error_url создана или уже существует")
finally: finally:
pass # Не закрываем подключение pass
def add_error_url(source_url: str, error_sources_url: str): def add_error_url(source_url: str, error_sources_url: str):
conn = get_connection() conn = get_connection()
@@ -203,7 +203,7 @@ def add_error_url(source_url: str, error_sources_url: str):
""", (source_url, error_sources_url)) """, (source_url, error_sources_url))
return cur.fetchone()[0] return cur.fetchone()[0]
finally: finally:
pass # Не закрываем подключение pass
def check_error_url(error_sources_url: str) -> bool: def check_error_url(error_sources_url: str) -> bool:
conn = get_connection() conn = get_connection()
@@ -218,7 +218,7 @@ def check_error_url(error_sources_url: str) -> bool:
return row is None return row is None
finally: finally:
pass # Не закрываем подключение pass
# Создание и работа с таблицей источников add_sources # Создание и работа с таблицей источников add_sources
def create_table_add_sourse(): def create_table_add_sourse():
@@ -233,7 +233,7 @@ def create_table_add_sourse():
""") """)
print("Таблица sourse создана или уже существует") print("Таблица sourse создана или уже существует")
finally: finally:
pass # Не закрываем подключение pass
def add_sources(url: str, promt: str): def add_sources(url: str, promt: str):
conn = get_connection() conn = get_connection()
@@ -247,7 +247,7 @@ def add_sources(url: str, promt: str):
""", (url, promt)) """, (url, promt))
conn.commit() conn.commit()
finally: finally:
pass # Не закрываем подключение pass
# Пример использования # Пример использования
# if __name__ == "__main__": # if __name__ == "__main__":