сохраняю перед добавлением во все бд, закрытие соединения
This commit is contained in:
@@ -12,7 +12,7 @@ conn = psycopg2.connect(
|
||||
options="-c statement_timeout=30000" # таймаут запроса 30 сек
|
||||
)
|
||||
conn.autocommit = True
|
||||
|
||||
# работа с базой данных показывания задач work_parser
|
||||
def create_table():
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("""
|
||||
@@ -40,7 +40,6 @@ def insert_task(status, source_url=None, source_id=None, priority=0):
|
||||
task_id = cur.fetchone()[0]
|
||||
return task_id
|
||||
|
||||
|
||||
def get_tasks_offset(limit, offset):
|
||||
with conn.cursor(cursor_factory=RealDictCursor) as cur:
|
||||
cur.execute("""
|
||||
@@ -77,7 +76,7 @@ def update_task(task_id, **fields):
|
||||
cur.execute(f"UPDATE work_parser SET {set_sql} WHERE id = %s;", values)
|
||||
return True
|
||||
|
||||
|
||||
# Создание и работа с таблицей по созданию и редактированию промтов
|
||||
def create_table_config_gpt():
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("""
|
||||
@@ -114,14 +113,15 @@ def get_all_promt():
|
||||
sources = [{"url": row["url"], "name": row["name"], "promt": row["promt"]} for row in rows]
|
||||
return {"sources": sources}
|
||||
|
||||
# Возвращает список всех значений поля name из таблицы config_gpt
|
||||
def get_all_categories_promt():
|
||||
"""Возвращает список всех значений поля name из таблицы config_gpt"""
|
||||
with conn.cursor(cursor_factory=RealDictCursor) as cur:
|
||||
cur.execute("SELECT name FROM config_gpt")
|
||||
rows = cur.fetchall()
|
||||
|
||||
return [row["name"] for row in rows]
|
||||
|
||||
# Создание, сохранение и работа с таблицей ошибочных ссылок (error_url)
|
||||
def create_table_error_url():
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("""
|
||||
@@ -133,7 +133,6 @@ def create_table_error_url():
|
||||
""")
|
||||
print("Таблица error_url создана или уже существует")
|
||||
|
||||
|
||||
def add_error_url(source_url: str, error_sources_url: str):
|
||||
"""Добавляет запись об ошибке URL"""
|
||||
with conn.cursor() as cur:
|
||||
@@ -144,7 +143,6 @@ def add_error_url(source_url: str, error_sources_url: str):
|
||||
""", (source_url, error_sources_url))
|
||||
return cur.fetchone()[0]
|
||||
|
||||
|
||||
def check_error_url(error_sources_url: str) -> bool:
|
||||
"""Проверяет, есть ли запись в таблице error_url с таким URL"""
|
||||
with conn.cursor(cursor_factory=RealDictCursor) as cur:
|
||||
@@ -157,6 +155,26 @@ def check_error_url(error_sources_url: str) -> bool:
|
||||
|
||||
return row is None
|
||||
|
||||
# Создание и работа с таблицей источников add_sources
|
||||
def create_table_add_sourse():
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("""
|
||||
CREATE TABLE IF NOT EXISTS sourse (
|
||||
url TEXT PRIMARY KEY,
|
||||
promt TEXT
|
||||
);
|
||||
""")
|
||||
print("Таблица sourse создана или уже существует")
|
||||
|
||||
def add_sources(url: str, promt: str):
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("""
|
||||
INSERT INTO config_gpt (url, promt)
|
||||
VALUES (%s, %s)
|
||||
ON CONFLICT (url) DO UPDATE SET
|
||||
promt = EXCLUDED.promt
|
||||
""", (url, promt))
|
||||
conn.commit()
|
||||
|
||||
# Пример использования
|
||||
# if __name__ == "__main__":
|
||||
@@ -167,4 +185,5 @@ def check_error_url(error_sources_url: str) -> bool:
|
||||
# "promt": "Задача: Перевод на русский язык и тематическая фильтрация новостных статей из китайской прессы. \n Необходимо переводить текст статьи и определять, относится ли она к КНР по указанным темам: \n 1. Перевод\n Переведи предоставленный китайский текст на русский язык, сохранив оригинальный смысл, стиль и структуру.\n Текст:\n {content}\n -------------------------------------\n 2. Отбирай исключительно новости, прямо относящиеся к Китаю, его безопасности, соседним странам и территориям, влияющим на интересы Китая.\n Если не относится к Китаю — считаем, что статья НЕ подходит, и отдаем пустой JSON:\n {\"text\": \"\", \"pereskas\": \"\", \"title\": \"\", \"topics\": []}\n Если привязка есть — переходи к шагу 3. \n -------------------------------------\n 3. Тематическая классификация\n Определи, относится ли статья к одной или нескольким темам из списка:\n 1) Военные новости — конфликты, учения, мобилизация, закупки вооружений. \n 2) Пограничная деятельность — охрана границы, пограничные учения, строительство или модернизация пограничной инфраструктуры, техника для пограничников. \n 3) Пункты пропуска на границе с РФ — изменения режима работы, строительство, реконструкция, оборудование, логистика. \n 4) Пограничные реки — состояние рек, экология, инфраструктурные проекты, мониторинг. \n 5) Чрезвычайные ситуации — природные и техногенные происшествия, особенно затрагивающие пограничные реки и прилегающие земли. \n 6) Санитарно-эпидемиологическая обстановка — эпидемии, эпизоотии, эпифитотии, угрозы и меры предотвращения. \n 7) Индустриальные проекты (арктическое/антарктическое направление). \n 8) Индустриальные проекты в приграничных районах — заводы, производства, технопарки, новые технологии. \n 9) Инфраструктурные проекты в приграничных районах — дороги, мосты, транспорт, логистика. \n 10) Культура малочисленных народностей (нанайцы, монголы, уйгуры, нанайцы и хэчжэ) — политика, традиции, бытовая жизнь нанайцев, монголов, уйгуров, и хэчжэ (малочисленных народов).\n\n Отметь только те темы, которым статья действительно соответствует.\n\n -------------------------------------\n 4. Формат ответа \n Вернуть строго JSON без пояснений и дополнительных слов:\n {\n \"translation_text\": \"<перевод текста статьи на русский язык (дословный, точный и без сокращений ) >\",\n \"short_text\": \"<пересказ переведённого текста>\",\n \"title\": \"<краткая суть новости (1–2 предложения)>\",\n \"category\": \"<названий категорий, которым соответствует статья>\"\n }\n Если статья не относится ни к одной теме или не привязана к нужным регионам — вернуть:\n {\"translation_text\": \"\", \"short_text\": \"\", \"title\": \"\", \"category\": \"\"}"
|
||||
# })
|
||||
# # print(get_promt("japan"))
|
||||
# # create_table_error_url()
|
||||
# # create_table_error_url()
|
||||
# create_table_add_sourse()
|
||||
Reference in New Issue
Block a user