изменил старт первого источника
All checks were successful
continuous-integration/drone/push Build is passing
All checks were successful
continuous-integration/drone/push Build is passing
This commit is contained in:
4
main.py
4
main.py
@@ -305,9 +305,9 @@ def update_bd_and_create_document(response_text, article_date, url, parsed_at, o
|
||||
#Функции start первого источника (газета)
|
||||
def start_pars_one_istochnik(data_init=""):
|
||||
if data_init != ['']:
|
||||
current_day = data_init[0]
|
||||
current_day = data_init[2]
|
||||
current_month = data_init[1]
|
||||
current_year = data_init[2]
|
||||
current_year = data_init[0]
|
||||
else:
|
||||
datetime_now = dt.now()
|
||||
current_day = create_folder(datetime_now.day)
|
||||
|
||||
@@ -48,7 +48,7 @@ def create_table():
|
||||
""")
|
||||
print("Таблица work_parser создана или уже существует")
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
def insert_task(status, source_url=None, source_id=None, priority=0):
|
||||
conn = get_connection()
|
||||
@@ -62,7 +62,7 @@ def insert_task(status, source_url=None, source_id=None, priority=0):
|
||||
task_id = cur.fetchone()[0]
|
||||
return task_id
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
def get_tasks_offset(limit, offset):
|
||||
conn = get_connection()
|
||||
@@ -76,7 +76,7 @@ def get_tasks_offset(limit, offset):
|
||||
tasks = cur.fetchall()
|
||||
return tasks
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
def delete_task(task_id: int):
|
||||
conn = get_connection()
|
||||
@@ -89,7 +89,7 @@ def delete_task(task_id: int):
|
||||
else:
|
||||
return {"message": f"Задача с id {task_id} не найдена"}
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
def update_task(task_id, **fields):
|
||||
conn = get_connection()
|
||||
@@ -109,7 +109,7 @@ def update_task(task_id, **fields):
|
||||
cur.execute(f"UPDATE work_parser SET {set_sql} WHERE id = %s;", values)
|
||||
return True
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
# Создание и работа с таблицей по созданию и редактированию промтов
|
||||
def create_table_config_gpt():
|
||||
@@ -125,7 +125,7 @@ def create_table_config_gpt():
|
||||
""")
|
||||
print("Таблица config_gpt создана или уже существует")
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
def update_promt(url: str, name: str, promt: str):
|
||||
conn = get_connection()
|
||||
@@ -140,7 +140,7 @@ def update_promt(url: str, name: str, promt: str):
|
||||
""", (url, name, promt))
|
||||
conn.commit()
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
def get_promt(promt_name_url):
|
||||
conn = get_connection()
|
||||
@@ -150,7 +150,7 @@ def get_promt(promt_name_url):
|
||||
promt = cur.fetchone()
|
||||
return promt['promt']
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
def get_all_promt():
|
||||
# Возвращает список всех значений поля name из таблицы config_gpt
|
||||
@@ -163,7 +163,7 @@ def get_all_promt():
|
||||
sources = [{"url": row["url"], "name": row["name"], "promt": row["promt"]} for row in rows]
|
||||
return {"sources": sources}
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
def get_all_categories_promt():
|
||||
conn = get_connection()
|
||||
@@ -174,7 +174,7 @@ def get_all_categories_promt():
|
||||
|
||||
return [row["name"] for row in rows]
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
# Создание, сохранение и работа с таблицей ошибочных ссылок (error_url)
|
||||
def create_table_error_url():
|
||||
@@ -190,7 +190,7 @@ def create_table_error_url():
|
||||
""")
|
||||
print("Таблица error_url создана или уже существует")
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
def add_error_url(source_url: str, error_sources_url: str):
|
||||
conn = get_connection()
|
||||
@@ -203,7 +203,7 @@ def add_error_url(source_url: str, error_sources_url: str):
|
||||
""", (source_url, error_sources_url))
|
||||
return cur.fetchone()[0]
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
def check_error_url(error_sources_url: str) -> bool:
|
||||
conn = get_connection()
|
||||
@@ -218,7 +218,7 @@ def check_error_url(error_sources_url: str) -> bool:
|
||||
|
||||
return row is None
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
# Создание и работа с таблицей источников add_sources
|
||||
def create_table_add_sourse():
|
||||
@@ -233,7 +233,7 @@ def create_table_add_sourse():
|
||||
""")
|
||||
print("Таблица sourse создана или уже существует")
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
def add_sources(url: str, promt: str):
|
||||
conn = get_connection()
|
||||
@@ -247,7 +247,7 @@ def add_sources(url: str, promt: str):
|
||||
""", (url, promt))
|
||||
conn.commit()
|
||||
finally:
|
||||
pass # Не закрываем подключение
|
||||
pass
|
||||
|
||||
# Пример использования
|
||||
# if __name__ == "__main__":
|
||||
|
||||
Reference in New Issue
Block a user