eomsangdonandClaude Fable 5
17834d8189
라이다 원본은 업로드에 오래 걸려 프로젝트 정보 확정 전에 미리 올릴 수 있어야 한다.
계정에 묶인 임시 보관함을 만들고, 나중에 만든 프로젝트로 자료를 옮겨 쓴다.
저장·DB
- storage/tmp/{user_id}/{batch_id}/ 아래에 프로젝트 저장소와 동일한 구조를 써서
청크 저장·병합 엔진(resolve_upload_destination/merge_upload_chunks)을 그대로 재사용
- 010_temp_upload.sql: temp_upload_batches / temp_upload_files 신설,
upload_sessions.project_id NULL 허용 + temp_batch_id 추가(FK명 조회 후 재생성)
- config: TEMP_UPLOAD_DIR_NAME / TEMP_UPLOAD_RETENTION_DAYS(30) /
TEMP_UPLOAD_CLEANUP_INTERVAL_HOURS(6)
백엔드
- B03_FileInput_Router_Temp.py: 묶음 생성·목록·삭제, 일반/청크 업로드, finalize,
이어올리기 상태 조회, 프로젝트 연결(attach)
- attach: 파일 이동 후 input_files 등록, stage 0 완료, WF1·자동 설계 체인 트리거
- common_util_temp_cleanup.py: 완료 시각 기준 만료분 주기 삭제(서버 시작 시 1회 포함)
프론트엔드
- B01 대시보드 임시 보관함 섹션: 프로젝트 등록과 같은 폼 + 보관 목록.
진행률은 모달이 아니라 리스트 행에 표시, 새로고침 후 이어올리기 지원
- B03 업로드 컨테이너 내부 불러오기 버튼과 선택 모달.
완료된 묶음만 노출하고, 선택 후 업로드를 누르면 이동과 분석으로 이어짐
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
85 lines
3.1 KiB
Python
85 lines
3.1 KiB
Python
"""임시 보관함 만료 정리.
|
|
|
|
라이다 원본은 수십 GB라 방치하면 디스크를 금방 채운다. 파일이 다 올라온 시각 기준
|
|
`TEMP_UPLOAD_RETENTION_DAYS`가 지난 묶음을 주기적으로 지운다(2026-08-08 사용자 지시).
|
|
보관 기간·주기는 `config/config_system.py`에서 조정한다.
|
|
"""
|
|
|
|
import asyncio
|
|
import logging
|
|
import os
|
|
import shutil
|
|
|
|
from B03_FileInput.B03_FileInput_Repository_Temp import (
|
|
delete_temp_batch,
|
|
list_expired_temp_batches,
|
|
)
|
|
from common_util.common_util_storage import resolve_temp_batch_path, temp_upload_root
|
|
from config.config_db import get_db_pool
|
|
from config.config_system import (
|
|
TEMP_UPLOAD_CLEANUP_INTERVAL_HOURS,
|
|
TEMP_UPLOAD_RETENTION_DAYS,
|
|
)
|
|
|
|
logger = logging.getLogger(__name__)
|
|
|
|
|
|
async def cleanup_expired_temp_uploads() -> int:
|
|
"""만료된 보관함 묶음을 폴더째 지우고 DB 행도 제거한다. 지운 개수를 돌려준다."""
|
|
pool = get_db_pool()
|
|
removed = 0
|
|
try:
|
|
async with pool.acquire() as connection:
|
|
expired = await list_expired_temp_batches(connection)
|
|
for batch in expired:
|
|
batch_id = str(batch["id"])
|
|
user_id = int(batch["user_id"])
|
|
try:
|
|
batch_root = resolve_temp_batch_path(user_id, batch_id, create=False)
|
|
shutil.rmtree(batch_root, ignore_errors=True)
|
|
except ValueError:
|
|
logger.warning("보관함 경로 해석 실패(행만 삭제): batch_id=%s", batch_id)
|
|
await delete_temp_batch(connection, batch_id=batch_id, user_id=user_id)
|
|
removed += 1
|
|
logger.info(
|
|
"임시 보관함 만료 삭제: batch_id=%s name=%s expires_at=%s",
|
|
batch_id,
|
|
batch.get("name"),
|
|
batch.get("expires_at"),
|
|
)
|
|
if removed:
|
|
await connection.commit()
|
|
_remove_empty_user_dirs()
|
|
except Exception:
|
|
logger.exception("임시 보관함 만료 정리 실패")
|
|
return removed
|
|
|
|
|
|
def _remove_empty_user_dirs() -> None:
|
|
"""묶음이 모두 사라진 사용자 폴더는 함께 정리한다."""
|
|
root = temp_upload_root()
|
|
if not os.path.isdir(root):
|
|
return
|
|
for entry in os.listdir(root):
|
|
path = os.path.join(root, entry)
|
|
if os.path.isdir(path) and not os.listdir(path):
|
|
try:
|
|
os.rmdir(path)
|
|
except OSError:
|
|
pass
|
|
|
|
|
|
async def cleanup_expired_temp_uploads_loop() -> None:
|
|
"""서버 시작 직후 한 번, 이후 설정된 주기마다 만료분을 정리한다."""
|
|
interval_seconds = max(1, TEMP_UPLOAD_CLEANUP_INTERVAL_HOURS) * 3600
|
|
logger.info(
|
|
"임시 보관함 정리 루프 시작: 보관 %d일, 주기 %d시간",
|
|
TEMP_UPLOAD_RETENTION_DAYS,
|
|
TEMP_UPLOAD_CLEANUP_INTERVAL_HOURS,
|
|
)
|
|
while True:
|
|
removed = await cleanup_expired_temp_uploads()
|
|
if removed:
|
|
logger.info("임시 보관함 정리 완료: %d건 삭제", removed)
|
|
await asyncio.sleep(interval_seconds)
|