feat(B01,B03): 프로젝트 생성 전 임시 보관함 (temp upload)

라이다 원본은 업로드에 오래 걸려 프로젝트 정보 확정 전에 미리 올릴 수 있어야 한다. 계정에 묶인 임시 보관함을 만들고, 나중에 만든 프로젝트로 자료를 옮겨 쓴다. 저장·DB - storage/tmp/{user_id}/{batch_id}/ 아래에 프로젝트 저장소와 동일한 구조를 써서 청크 저장·병합 엔진(resolve_upload_destination/merge_upload_chunks)을 그대로 재사용 - 010_temp_upload.sql: temp_upload_batches / temp_upload_files 신설, upload_sessions.project_id NULL 허용 + temp_batch_id 추가(FK명 조회 후 재생성) - config: TEMP_UPLOAD_DIR_NAME / TEMP_UPLOAD_RETENTION_DAYS(30) / TEMP_UPLOAD_CLEANUP_INTERVAL_HOURS(6) 백엔드 - B03_FileInput_Router_Temp.py: 묶음 생성·목록·삭제, 일반/청크 업로드, finalize, 이어올리기 상태 조회, 프로젝트 연결(attach) - attach: 파일 이동 후 input_files 등록, stage 0 완료, WF1·자동 설계 체인 트리거 - common_util_temp_cleanup.py: 완료 시각 기준 만료분 주기 삭제(서버 시작 시 1회 포함) 프론트엔드 - B01 대시보드 임시 보관함 섹션: 프로젝트 등록과 같은 폼 + 보관 목록. 진행률은 모달이 아니라 리스트 행에 표시, 새로고침 후 이어올리기 지원 - B03 업로드 컨테이너 내부 불러오기 버튼과 선택 모달. 완료된 묶음만 노출하고, 선택 후 업로드를 누르면 이동과 분석으로 이어짐 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-08-08 12:55:14 +09:00
parent 336335c611
commit 17834d8189
16 changed files with 2251 additions and 1 deletions
@@ -0,0 +1,84 @@
+"""임시 보관함 만료 정리.
+
+라이다 원본은 수십 GB라 방치하면 디스크를 금방 채운다. 파일이 다 올라온 시각 기준
+`TEMP_UPLOAD_RETENTION_DAYS`가 지난 묶음을 주기적으로 지운다(2026-08-08 사용자 지시).
+보관 기간·주기는 `config/config_system.py`에서 조정한다.
+"""
+
+import asyncio
+import logging
+import os
+import shutil
+
+from B03_FileInput.B03_FileInput_Repository_Temp import (
+    delete_temp_batch,
+    list_expired_temp_batches,
+)
+from common_util.common_util_storage import resolve_temp_batch_path, temp_upload_root
+from config.config_db import get_db_pool
+from config.config_system import (
+    TEMP_UPLOAD_CLEANUP_INTERVAL_HOURS,
+    TEMP_UPLOAD_RETENTION_DAYS,
+)
+
+logger = logging.getLogger(__name__)
+
+
+async def cleanup_expired_temp_uploads() -> int:
+    """만료된 보관함 묶음을 폴더째 지우고 DB 행도 제거한다. 지운 개수를 돌려준다."""
+    pool = get_db_pool()
+    removed = 0
+    try:
+        async with pool.acquire() as connection:
+            expired = await list_expired_temp_batches(connection)
+            for batch in expired:
+                batch_id = str(batch["id"])
+                user_id = int(batch["user_id"])
+                try:
+                    batch_root = resolve_temp_batch_path(user_id, batch_id, create=False)
+                    shutil.rmtree(batch_root, ignore_errors=True)
+                except ValueError:
+                    logger.warning("보관함 경로 해석 실패(행만 삭제): batch_id=%s", batch_id)
+                await delete_temp_batch(connection, batch_id=batch_id, user_id=user_id)
+                removed += 1
+                logger.info(
+                    "임시 보관함 만료 삭제: batch_id=%s name=%s expires_at=%s",
+                    batch_id,
+                    batch.get("name"),
+                    batch.get("expires_at"),
+                )
+            if removed:
+                await connection.commit()
+        _remove_empty_user_dirs()
+    except Exception:
+        logger.exception("임시 보관함 만료 정리 실패")
+    return removed
+
+
+def _remove_empty_user_dirs() -> None:
+    """묶음이 모두 사라진 사용자 폴더는 함께 정리한다."""
+    root = temp_upload_root()
+    if not os.path.isdir(root):
+        return
+    for entry in os.listdir(root):
+        path = os.path.join(root, entry)
+        if os.path.isdir(path) and not os.listdir(path):
+            try:
+                os.rmdir(path)
+            except OSError:
+                pass
+
+
+async def cleanup_expired_temp_uploads_loop() -> None:
+    """서버 시작 직후 한 번, 이후 설정된 주기마다 만료분을 정리한다."""
+    interval_seconds = max(1, TEMP_UPLOAD_CLEANUP_INTERVAL_HOURS) * 3600
+    logger.info(
+        "임시 보관함 정리 루프 시작: 보관 %d일, 주기 %d시간",
+        TEMP_UPLOAD_RETENTION_DAYS,
+        TEMP_UPLOAD_CLEANUP_INTERVAL_HOURS,
+    )
+    while True:
+        removed = await cleanup_expired_temp_uploads()
+        if removed:
+            logger.info("임시 보관함 정리 완료: %d건 삭제", removed)
+        await asyncio.sleep(interval_seconds)