allowlgroup/parser
5
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

парсер всех источников
Some checks failed
continuous-integration/drone/push Build is passing
Details
continuous-integration/drone Build is failing
Details

Browse Source
This commit is contained in:
admin
2026-04-12 19:11:49 +10:00
parent 4405400715
commit cc18b98946
1 changed files with 5 additions and 4 deletions
Download Patch File Download Diff File Expand all files Collapse all files

9
main.py
View File

@@ -386,6 +386,7 @@ def start_pars_two_istochnik():
#Функции start любого источника #Функции start любого источника
def start_pars_all_istochnik(url:str, promt:str): def start_pars_all_istochnik(url:str, promt:str):
# print(f"Начало парсинга: {url} с промтом: {promt}")
task_id = wp.insert_task(status='queued', source_url=url) task_id = wp.insert_task(status='queued', source_url=url)
try: try:
@@ -472,7 +473,7 @@ class Parserall(BaseModel):
@app.post("/add_sources" , summary="Добавление парсинга любого источника") @app.post("/add_sources" , summary="Добавление парсинга любого источника")
async def add_sources_all_ist(sources: Parserall): async def add_sources_all_ist(sources: Parserall):
print(f"Добавление источника: {sources.url} с промтом: {sources.promt}")
result = wp.add_sources(str(sources.url), sources.promt) result = wp.add_sources(str(sources.url), sources.promt)
return {"status": "success", "message": "Источник добавлен", "data": result} return {"status": "success", "message": "Источник добавлен", "data": result}
@@ -482,7 +483,7 @@ async def get_all_sources():
@app.post("/parser_all" , summary="Запуск процеса парсинга любого источника") @app.post("/parser_all" , summary="Запуск процеса парсинга любого источника")
async def process_parser_all_ist(url: Parserall, background_tasks: BackgroundTasks): async def process_parser_all_ist(url: Parserall, background_tasks: BackgroundTasks):
background_tasks.add_task(start_pars_all_istochnik(str(url.url), url.promt)) background_tasks.add_task(start_pars_all_istochnik, str(url.url), url.promt)
return {"message": "Процесс парсинга любого источника запущен"} return {"message": "Процесс парсинга любого источника запущен"}
@app.get("/get_tasks_offset", summary="Метод получения задач парсинга") @app.get("/get_tasks_offset", summary="Метод получения задач парсинга")
@@ -617,5 +618,5 @@ async def get_logs():
lines = file.readlines()[-10:] # последние 10 строк lines = file.readlines()[-10:] # последние 10 строк
return {"logs": lines} return {"logs": lines}
if __name__ == "__main__": # if __name__ == "__main__":
uvicorn.run("main:app", port=8001, reload=True) # uvicorn.run("main:app", port=8001, reload=True)