소개

이번 시간에 회사에서 메타클라우드(구글, 드롭박스, 원드라이브)를 하나의 클라우드로 연결시켜주는 프로젝트를 진행하면서 사용했던 커서를 이용한 더보기 방식의 페이징 개발 경험을 공유하려고 합니다.

문제점

더보기 페이징 limit, offset으로는 안되는거야?

기존의 더보기를 지원하기 위한 API는 MySQL의 limit, offset을 이용한 페이징으로 구현이 되어있었습니다. 하지만 메타클라우드의 변경사항 동기화와 다음 페이지 불러오기가 동시에 실행될때 중복되는 항목들이 존재하게 되었습니다.

1. 첫 페이지 로딩

SELECT id, file_name
FROM file
ORDER BY file_name asc
LIMIT 5
OFFSET 0

검색 결과
1, B
2, B
3, B
4, B
5, B

2. A라는 파일명의 파일 5개 생성

3. 두번째 페이지 로딩

SELECT id, file_name
FROM file
ORDER BY file_name asc
LIMIT 5
OFFSET 5

검색 결과
1, B
2, B
3, B
4, B
5, B

결과적으로 클라이언트에서는 B라는 파일명이 10개 존재하는것처럼 리스트에 보이게 되었습니다.

해결시도

정렬조건을 검색조건에 넣어 마지막 항목 이후의 리스트 가져오기

1차적으로 정렬조건을 검색 조건에 넣어서 마지막 항목 이후의 리스트를 가져오도록 API와 쿼리를 변경하였습니다.

다음페이지를 가져올때 이전페이지의 마지막 항목에서 정렬조건에 해당하는 정보 에 해당하는 커서 데이터를 통해 다음페이지를 검색하였습니다.

SELECT id, file_name
FROM file
WHERE file_name > ${cursor}
ORDER BY file_name asc
LIMIT 2

이렇게 하다보니 아래와 같은 테스트데이터에서 정렬조건에 걸리는 데이터가 유일하지 않은 경우 누락이 발생하게 되었습니다.

테스트 데이터

id, file_name
1, A
2, A
3, A
4, B
5, B
6, B

첫번째 페이지

SELECT id, file_name
FROM file
LIMIT 2

1, A
2, A

커서 : A

두번째 페이지

SELECT id, file_name
FROM file
WHERE file_name > 'A'
LIMIT 2

4, B
5, B

커서 : B

위와 같이 데이터를 2개씩 페이징 하고 싶을 때 2번째 페이지에서 file_name > A 의 조건이 들어가게 되므로 3, A 파일이 누락되게 됩니다.

해결

유일한 데이터를 정렬조건으로 만들자

누락되는 데이터가 없도록 하기 위해서 정렬 조건에 유일한 값(일반적으로 PK)을 2차 정렬 조건으로 추가하였습니다.

SELECT id, file_name
FROM file
WHERE file_name > ${lastCursorFileName}
    OR (file_name = ${lastCursorFileName} AND id > ${lastCursorId})
ORDER BY file_name ASC, id ASC
LIMIT 2

첫번째 페이지

SELECT id, file_name
FROM file
LIMIT 2

1, A
2, A

커서 : 2, A

두번째 페이지

SELECT id, file_name
FROM file
WHERE file_name > 'A'
    OR (file_name = 'A' AND id > 2)
ORDER BY file_name ASC, id ASC
LIMIT 2

3, A
4, B

커서 : 4, B

세번째 페이지

SELECT id, file_name
FROM file
WHERE file_name > 'B'
    OR (file_name = 'B' AND id > 4)
ORDER BY file_name ASC, id ASC
LIMIT 2

5, B
6, B

커서 : 6, B

위와같이 유일한 정렬조건인 id를 추가함으로써 누락과 중복이 발생하지 않는 커서방식의 더보기를 구현 할 수 있었습니다.

종합

유일한 정렬 조건을 이용하여 where 조건에 넣음으로써 중복이 발생하지 않는 offset을 찾을 수 있었습니다.