문제상황
- 순차적으로 영상 크기에 따른 업로드 테스트 중
- 133MB부터 업로드 불가(java.io.IOException: java.lang.OutOfMemoryError로 인해 취소됨)
원인분석
- 파일 전체를 서버 메모리에 올린 뒤 Object Storage로 전송하는데,
- 파일이 클수록 서버 메모리에 쌓이는 총 버퍼 크기가 늘어나고, 서버 메모리가 한도 초과되면서 OutOfMemoryError 발생
+--------+ +---------+ +----------------------+
| Client | | Server | | NCP Object Storage |
+--------+ +---------+ +----------------------+
| | |
| 1. 파일 전체 스트림 ->|
| | |
| | 2. 메모리/버퍼 적재 |
| | 3. 단일 업로드 ----------->|
| | |
해결
-
Presigned URL + Multipart Upload (청크 업로드) 방식 구현
- Presigned URL: 서버에서 발급한, 클라이언트가 Object Storage에 직접 접근할 수 있는 임시 URL, 서버를 거치지 않고 클라이언트가 직접 Object Storage에 PUT/GET 가능
- Multipart Upload : 큰 파일을 여러 조각으로 나누어 병렬 또는 순차적으로 업로드하는 방식,
- 대용량 파일 안정적 전송 가능
- 실패 시 부분 조각만 재전송 가능, 재전송 트래픽 최소화
+--------+ +---------+ +----------------------+ | Client | | Server | | NCP Object Storage | +--------+ +---------+ +----------------------+ | | | | 1. 파일명, 크기 전달 | | |------------------>| 2. create multipart | | |------------------------>| | |<-- (Upload ID, URL 발급) | | 3.Upload ID + URL | | |<------------------| | |=============================================| | [ 이제 서버를 거치지 않고 직접 저장소로 ] | |=============================================| | | | | 5. [조각 1] 전송 --------------------------->| (URL 1 사용) | 6. [조각 2] 전송 --------------------------->| (URL 2 사용) | 7. [조각 3] 전송 --------------------------->| (URL 3 사용) | N. [조각 N] 전송 --------------------------->| | ... | | | 8. 다보냈으니 합침 요청| | |------------------->| 9. complete multipart | | |----------------------->| | 10. 업로드 완료 |<--- (최종 파일 생성) | |<-------------------| |
결과
- 기존에 OutOfMemory로 전송이 되지 않던 50MB 이상의 데이터 전송 가능해짐
- 데이터 조각 별로 전송하기 때문에 HTTP 요청 횟수가 늘면서 업로드 속도가 느리게 느껴질 수 있지만
- 실패했을 때 99%에서 실패했다면 처음부터 보내는 것이 아니고 실패한 조각만 다시 보내면됨,
- 안정성과 서버자원 측면에서는 확실한 이점이 있음
| 영상 크기 | 스트리밍 업로드 | Presigned URL + Multipart |
|---|---|---|
| 1 MB | 349 ms | 514 ms |
| 4 MB | 443 ms | 944 ms |
| 20 MB | 1,991 ms | 2,925 ms |
| 45 MB | 4,022 ms | 6,657 ms |
| 133 MB | OutOfMemory (불가) | 14,583 ms |
| 613 MB | OutOfMemory (불가) | 63,604 ms |
| 719 MB | OutOfMemory (불가) | 75,410 ms |
- 원본 테스트 데이터
추가사항
- 시간 단축 예정
- 병렬 업로드 (Parallel Upload): 조각들을 1번 보내고 2번 보내는 게 아니라, 동시에 3~5개씩 쏘는 방식 (코루틴 사용). 이렇게 하면 단일 업로드보다 훨씬 빨라짐
- 청크 크기 조절: 조각이 너무 작으면(예: 1MB) 연결 오버헤드가 너무 커짐, 보통 5MB ~ 10MB 사이가 가장 적당
- 네트워크에 따른 재시도 로직 필요
