eomsangdonandClaude Opus 5
d935013ffa
사용자 결정(2026-08-08): 복수 파일을 허용하고 중복 기준은 파일명으로 둔다. 같은 이름으로 같은 내용이 다시 들어오면 덮어쓰지 말고 건너뛰고, 내용이 다르면 덮어쓴다. 파일 지문(부분 샘플링) - B03_FileInput_Fingerprint.ts: 파일 크기 + 앞·중간·끝 8MB를 이어 SHA-256. 24MB만 읽어 1~2초면 끝난다. 전체 읽기(1.7GB, 10~30초)와 견줘 실용적이고, 자리를 앞·중간·끝으로 흩어 놓아 머리말만 같은 파일도 갈린다. 한계는 주석에 적었다. - 화면이 업로드 세션 생성 요청에 지문을 실어 보내고, 서버가 같은 이름의 최신 입력 파일 메타데이터에 적힌 지문과 견준다. 같으면 already_uploaded=true로 답해 **전송 자체를** 건너뛴다(1.7GB면 3~5분 절약). 지문이 없거나 다르면 그냥 올린다 — 애매하면 올리는 쪽. - 완료 요청에도 지문을 실어 input_files.metadata에 남긴다. upload_sessions에 컬럼을 더하지 않으려는 선택이라 DB 스키마 변경이 없다. 옛 행 정리 - supersede_previous_input_files(): 같은 이름의 이전 행을 SUPERSEDED로 내린다. 조회는 UPLOADED/PROCESSED만 보므로 목록·분석에서 자동으로 빠지고, 행은 이력으로 남는다. - 직접 업로드 완료와 보관함 연결 양쪽에 적용. 검증(실서버 f45243b3) - 같은 파일 재요청 → already_uploaded=true, 세션 미발급. - 지문이 다르면 → 세션 발급(정상 업로드 경로). - 옛 행이 SUPERSEDED로 내려가는 것 DB에서 확인. - 화면 코드(B03_FileInput_Fingerprint.ts)를 그대로 실행해 만든 지문과 서버측 검증 스크립트의 지문이 20MB 표본에서 완전히 일치(f281fd08…93e4). typecheck·ruff·prettier 통과, 정적 번들 재빌드. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
52 lines
2.6 KiB
TypeScript
52 lines
2.6 KiB
TypeScript
/* =============================================================================
|
|
* B03_FileInput_Fingerprint.ts
|
|
* 파일 지문 — 같은 파일을 다시 올리는지 **전송 전에** 가린다.
|
|
*
|
|
* 라이다 원본은 1.7GB가 넘어 한 번 올리는 데 몇 분이 걸린다. 같은 파일을 다시 고른 경우
|
|
* 그 시간을 통째로 버리게 되므로, 올리기 전에 서버에 "이 파일 이미 있어?"를 물어본다.
|
|
*
|
|
* 전체를 읽어 지문을 만들면 가장 정확하지만 1.7GB를 다 읽어야 한다. 그래서 **크기 + 앞·중간·
|
|
* 끝 8MB**만 읽어 지문을 만든다(2026-08-08 사용자 결정). 24MB만 읽으므로 1~2초면 끝나고,
|
|
* 자리를 앞·중간·끝으로 흩어 놓아 "머리말만 같은 파일"도 걸러진다.
|
|
*
|
|
* 한계: 크기가 같고 세 구간까지 같은데 그 사이만 다른 파일은 같다고 볼 수 있다. 현실에서는
|
|
* 사실상 생기지 않지만, 완벽이 필요해지면 전체 읽기로 바꾸면 된다(파일당 10~30초).
|
|
* ========================================================================== */
|
|
|
|
/** 지문에 쓰는 구간 크기(8MB). 앞·중간·끝에서 이만큼씩 읽는다. */
|
|
const SAMPLE_BYTES = 8 * 1024 * 1024;
|
|
|
|
function toHex(buffer: ArrayBuffer): string {
|
|
return [...new Uint8Array(buffer)].map((byte) => byte.toString(16).padStart(2, "0")).join("");
|
|
}
|
|
|
|
/**
|
|
* 파일 지문을 만든다. 브라우저가 지원하지 않으면(보안 컨텍스트가 아니면) `null` —
|
|
* 그때는 지문 없이 그냥 올린다(애매하면 올리는 쪽이 안전하다).
|
|
*/
|
|
export async function fileFingerprint(file: File): Promise<string | null> {
|
|
if (!crypto?.subtle) return null;
|
|
try {
|
|
const middleStart = Math.max(0, Math.floor(file.size / 2) - Math.floor(SAMPLE_BYTES / 2));
|
|
const parts = [
|
|
file.slice(0, Math.min(SAMPLE_BYTES, file.size)),
|
|
file.slice(middleStart, Math.min(middleStart + SAMPLE_BYTES, file.size)),
|
|
file.slice(Math.max(0, file.size - SAMPLE_BYTES)),
|
|
];
|
|
const chunks = await Promise.all(parts.map((part) => part.arrayBuffer()));
|
|
const total = chunks.reduce((sum, chunk) => sum + chunk.byteLength, 0);
|
|
// 크기를 함께 섞는다 — 구간이 같아도 길이가 다르면 다른 파일이다.
|
|
const header = new TextEncoder().encode(`${file.size}:`);
|
|
const merged = new Uint8Array(header.byteLength + total);
|
|
merged.set(header, 0);
|
|
let offset = header.byteLength;
|
|
for (const chunk of chunks) {
|
|
merged.set(new Uint8Array(chunk), offset);
|
|
offset += chunk.byteLength;
|
|
}
|
|
return toHex(await crypto.subtle.digest("SHA-256", merged));
|
|
} catch {
|
|
return null;
|
|
}
|
|
}
|