diff --git a/main.py b/main.py index a677714..acf9a7e 100644 --- a/main.py +++ b/main.py @@ -26,32 +26,18 @@ import uvicorn import requests -# Добавляем импорт psycopg2 -import psycopg2 - # Локальные импорты # import settings_work as sw import work_parser as wp DOCUMENTS_DIR = os.path.join(os.path.dirname(os.path.abspath(__file__)), "documents") -# Создаём соединение с PostgreSQL -conn = psycopg2.connect( - dbname="parsed_url", - user="postgres", - password="qwertyqwerty123123", - host="45.129.78.228", - connect_timeout=100, - options="-c statement_timeout=30000" # таймаут запроса 30 сек -) -conn.autocommit = True - @asynccontextmanager async def lifespan(app: FastAPI): """Управление жизненным циклом приложения""" # Startup - scheduler.add_job(scheduled_parser_1, "cron", hour=10, minute=0) - scheduler.add_job(scheduled_parser_2, "cron", hour=11, minute=0) + scheduler.add_job(scheduled_parser_1, "cron", hour=0, minute=0) + scheduler.add_job(scheduled_parser_2, "cron", hour=1, minute=0) scheduler.start() yield # Shutdown @@ -416,7 +402,7 @@ def start_pars_all_istochnik(url:str, promt:str): continue # Фильтрация по ключевым словам (пример для новостных сайтов) - path_lower = parsed.path.lower() + # path_lower = parsed.path.lower() # if any(keyword in path_lower for keyword in ['/news/', 'article', '2026', '2027', '/blog/', '/post/']): print(f"Парсинг {abs_url}") if check_url(abs_url) == False and wp.check_error_url(abs_url): @@ -488,10 +474,19 @@ def get_tasks_offset(limit: int = Query(10, gt=0), offset: int = Query(0, ge=0)) def get_settings(): return wp.get_all_promt() +@app.get("/categories_promt", summary="Метод получения categories_promt") +def get_categories_promt(): + return wp.get_all_categories_promt() + +class Source(BaseModel): + url: str + name: str + promt: str + # POST метод для установки настроек @app.post("/settings", summary="Метод сохранения настроек парсера") -def set_settings(settings: wp.Source): - return wp.update_promt(settings) +def set_settings(settings: Source): + return wp.update_promt(settings.url, settings.name, settings.promt) @app.delete("/delete_task/{task_id}", summary="Метод удаления задачи") def delete_task(task_id: int): diff --git a/work_parser.py b/work_parser.py index 728317c..7ba1a57 100644 --- a/work_parser.py +++ b/work_parser.py @@ -1,6 +1,5 @@ import psycopg2 from psycopg2.extras import RealDictCursor -from pydantic import BaseModel # Подключение к БД (укажи свои параметры) conn = psycopg2.connect( @@ -9,6 +8,8 @@ conn = psycopg2.connect( password="qwertyqwerty123123", host="45.129.78.228", # host="127.0.0.1" + connect_timeout=10, + options="-c statement_timeout=30000" # таймаут запроса 30 сек ) conn.autocommit = True @@ -77,7 +78,6 @@ def update_task(task_id, **fields): return True - def create_table_config_gpt(): with conn.cursor() as cur: cur.execute(""" @@ -89,15 +89,7 @@ def create_table_config_gpt(): """) print("Таблица config_gpt создана или уже существует") -class Source (BaseModel): - url: str - name: str - promt: str - -def update_promt(data: Source): - if isinstance(data, dict): - data = Source.model_validate(data) - +def update_promt(url: str, name: str, promt: str): with conn.cursor() as cur: cur.execute(""" INSERT INTO config_gpt (url, name, promt) @@ -105,7 +97,7 @@ def update_promt(data: Source): ON CONFLICT (url) DO UPDATE SET name = EXCLUDED.name, promt = EXCLUDED.promt - """, (data.url, data.name, data.promt)) + """, (url, name, promt)) conn.commit() def get_promt(promt_name_url): @@ -114,7 +106,6 @@ def get_promt(promt_name_url): promt = cur.fetchone() return promt['promt'] - def get_all_promt(): with conn.cursor(cursor_factory=RealDictCursor) as cur: cur.execute("SELECT * FROM config_gpt") @@ -123,7 +114,13 @@ def get_all_promt(): sources = [{"url": row["url"], "name": row["name"], "promt": row["promt"]} for row in rows] return {"sources": sources} - +def get_all_categories_promt(): + """Возвращает список всех значений поля name из таблицы config_gpt""" + with conn.cursor(cursor_factory=RealDictCursor) as cur: + cur.execute("SELECT name FROM config_gpt") + rows = cur.fetchall() + + return [row["name"] for row in rows] def create_table_error_url(): with conn.cursor() as cur: @@ -158,7 +155,6 @@ def check_error_url(error_sources_url: str) -> bool: """, (error_sources_url,)) row = cur.fetchone() - return row is None @@ -170,5 +166,5 @@ def check_error_url(error_sources_url: str) -> bool: # "name": "Корея", # "promt": "Задача: Перевод на русский язык и тематическая фильтрация новостных статей из китайской прессы. \n Необходимо переводить текст статьи и определять, относится ли она к КНР по указанным темам: \n 1. Перевод\n Переведи предоставленный китайский текст на русский язык, сохранив оригинальный смысл, стиль и структуру.\n Текст:\n {content}\n -------------------------------------\n 2. Отбирай исключительно новости, прямо относящиеся к Китаю, его безопасности, соседним странам и территориям, влияющим на интересы Китая.\n Если не относится к Китаю — считаем, что статья НЕ подходит, и отдаем пустой JSON:\n {\"text\": \"\", \"pereskas\": \"\", \"title\": \"\", \"topics\": []}\n Если привязка есть — переходи к шагу 3. \n -------------------------------------\n 3. Тематическая классификация\n Определи, относится ли статья к одной или нескольким темам из списка:\n 1) Военные новости — конфликты, учения, мобилизация, закупки вооружений. \n 2) Пограничная деятельность — охрана границы, пограничные учения, строительство или модернизация пограничной инфраструктуры, техника для пограничников. \n 3) Пункты пропуска на границе с РФ — изменения режима работы, строительство, реконструкция, оборудование, логистика. \n 4) Пограничные реки — состояние рек, экология, инфраструктурные проекты, мониторинг. \n 5) Чрезвычайные ситуации — природные и техногенные происшествия, особенно затрагивающие пограничные реки и прилегающие земли. \n 6) Санитарно-эпидемиологическая обстановка — эпидемии, эпизоотии, эпифитотии, угрозы и меры предотвращения. \n 7) Индустриальные проекты (арктическое/антарктическое направление). \n 8) Индустриальные проекты в приграничных районах — заводы, производства, технопарки, новые технологии. \n 9) Инфраструктурные проекты в приграничных районах — дороги, мосты, транспорт, логистика. \n 10) Культура малочисленных народностей (нанайцы, монголы, уйгуры, нанайцы и хэчжэ) — политика, традиции, бытовая жизнь нанайцев, монголов, уйгуров, и хэчжэ (малочисленных народов).\n\n Отметь только те темы, которым статья действительно соответствует.\n\n -------------------------------------\n 4. Формат ответа \n Вернуть строго JSON без пояснений и дополнительных слов:\n {\n \"translation_text\": \"<перевод текста статьи на русский язык (дословный, точный и без сокращений ) >\",\n \"short_text\": \"<пересказ переведённого текста>\",\n \"title\": \"<краткая суть новости (1–2 предложения)>\",\n \"category\": \"<названий категорий, которым соответствует статья>\"\n }\n Если статья не относится ни к одной теме или не привязана к нужным регионам — вернуть:\n {\"translation_text\": \"\", \"short_text\": \"\", \"title\": \"\", \"category\": \"\"}" # }) - # print(get_promt("japan")) - # create_table_error_url() \ No newline at end of file +# # print(get_promt("japan")) +# # create_table_error_url() \ No newline at end of file