데이터 수집 외주, 합법인가 — 비용과 법적 기준

단발 수집은 50만~200만 원(3일~1주), 정기 수집기는 200만~500만 원(1~3주), 수집과 대시보드를 함께 만들면 500만~1,500만 원(4~8주)입니다. 모두 프로젝트 총액 기준이고 부가세는 별도입니다. 비용을 가르는 변수는 세 가지뿐입니다 — 대상 사이트 수, 수집 주기, 그리고 로그인·캡차·동적 렌더링 대응 여부.

데이터 수집 개발 비용은 "몇 개 사이트에서, 얼마나 자주, 어떤 방어를 뚫고" 수집하는지에 따라 결정됩니다. 한 번 받고 끝나는 단발 수집이 아니라 정기적으로 쌓고 상태를 지켜봐야 한다면, 데이터 수집·모니터링 프로그램 외주 개발로 범위가 확장됩니다.

비용을 크게 흔드는 변수 3가지

1. 동적 렌더링 여부 — 자바스크립트로 그려지는 페이지는 브라우저 자동화가 필요해 서버 비용과 공수가 2배 이상 됩니다.

2. 로그인·봇 차단 — 로그인 세션 유지, CAPTCHA, 요청 제한(rate limit) 대응은 각각 별도 공수입니다.

3. 데이터 정제 수준 — "긁어온 원본"과 "중복 제거·정규화된 데이터"는 다른 산출물입니다. 어디까지 정제해서 받을지 미리 정하세요.

데이터 수집은 기술보다 법적 경계 확인이 먼저입니다. 발주 전 아래 3가지를 스스로 점검하세요. (아래는 일반적인 실무 기준이며 법률 자문이 아닙니다. 사업의 핵심이 데이터 수집 데이터라면 변호사 검토를 권합니다.)

1. 공개 데이터인가

로그인 없이 누구나 볼 수 있는 공개 정보의 수집은 일반적으로 허용 범위로 봅니다. 반면 로그인 뒤에만 보이는 데이터, 유료 콘텐츠의 수집은 이용약관 위반과 부정경쟁 이슈가 생길 수 있습니다.

2. 개인정보가 섞여 있는가

이름, 연락처, 이메일 등 개인정보는 공개돼 있어도 동의 없는 수집·이용이 개인정보보호법 위반이 될 수 있습니다. "사람에 대한 데이터"가 목적이라면 반드시 사전 검토가 필요합니다.

3. 데이터베이스권·저작권 침해인가

상당한 투자로 구축된 데이터베이스를 통째로 복제해 경쟁 서비스를 만드는 것은 저작권법(데이터베이스제작자 권리) 침해가 될 수 있습니다. 시세 비교·시장 조사처럼 가공·분석 목적의 수집과, 원본을 그대로 재게시하는 것은 법적 평가가 다릅니다.

안전한 발주 습관: 수집 대상 사이트의 이용약관과 robots.txt를 확인하고, 가능하면 공식 API가 있는지 먼저 찾아보세요. 공식 API가 있으면 데이터 수집보다 싸고 안정적이며 법적 리스크도 없습니다.

데이터 수집 외주에서 개발사의 태도는 법적 리스크의 신호이기도 합니다.

경계 신호

"다 긁어올 수 있어요. 문제없어요" — 법적 경계에 대한 질문 없이 무조건 가능하다고 하면, 문제가 생겼을 때 책임 소재가 발주사로 넘어옵니다.

CAPTCHA·봇 차단을 "우회"하는 것을 당연한 기능처럼 제안 — 명시적 차단을 우회하는 수집은 분쟁 시 불리하게 작용할 수 있습니다.

수집한 데이터의 이용 범위를 묻지 않음 — 내부 분석용인지 재판매용인지에 따라 리스크가 완전히 다릅니다.

좋은 신호

공식 API 존재 여부를 먼저 확인해 준다

요청 빈도를 대상 서버에 부담 없는 수준으로 설계한다 (과도한 요청은 업무방해 소지)

robots.txt와 이용약관 확인을 발주사와 함께 진행한다

개인정보 필드는 수집 전에 짚고 넘어간다

계약서에는 "수집 대상·항목·빈도"를 명시하고, 법적 문제 발생 시의 책임 범위를 정해두는 것이 서로에게 안전합니다.

데이터 수집 외주에서 가장 많이 생기는 분쟁은 납품 후 몇 달 뒤 찾아옵니다. 대상 사이트가 개편되면 크롤러는 반드시 깨지기 때문입니다.

이것은 개발 하자가 아니라 크롤러의 본질입니다. 대상 사이트는 우리가 통제할 수 없고, HTML 구조가 바뀌면 수집 로직도 바뀌어야 합니다.

그래서 계약 때 이렇게 하세요

하자보수와 "사이트 개편 대응"을 분리 — 버그 수정(무상)과 대상 사이트 변경 대응(유상)은 다른 항목입니다. 개편 대응의 건당 비용 또는 월 유지보수료를 미리 정하세요.

장애 감지 알림을 범위에 포함 — 크롤러가 조용히 죽어서 한 달치 데이터가 빈 것을 나중에 발견하는 사고가 흔합니다. "수집 실패 시 이메일/알림" 기능은 필수 옵션입니다.

월 운영비를 미리 계산 — 서버(브라우저 자동화면 사양 상승), 프록시/IP 비용, 저장소 비용이 매달 나갑니다. 개발비와 별도로 월 5만~50만 원 수준의 운영비를 예산에 잡으세요.

정기 수집이 사업에 중요하다면, 단발 개발보다 월 유지보수 계약(개발사가 수집 성공률을 책임지는 구조)이 총비용 면에서 유리한 경우가 많습니다.

실제로 진행했던 사례 둘. 하나는 음식점 사장님이 본인 매장의 주문·리뷰 데이터를 매일 아침 자동으로 받아보는 시스템이었습니다. 사장님 본인 계정으로 본인 매장 데이터를 모으는 단순한 구조인데도, 공수의 절반은 "수집이 끊기지 않고 매일 돌아가게 유지하는 것"에 들어갔습니다. 다른 하나는 공개된 장소 정보 수만 건을 모으는 프로젝트였는데, 순차 수집으로는 며칠이 걸릴 양이라 수백 건 동시 병렬 처리로 설계를 바꿔 몇 시간으로 줄였습니다. 규모가 커지면 "더 오래 돌리는" 게 아니라 설계 자체가 달라집니다.

비슷한 데이터 수집 작업을 맡긴 고객의 실제 후기를 그대로 옮기면 — "복잡한 조건이 많은 데이터 수집 의뢰였는데, 처음 상담부터 요청사항을 정확하게 이해해 주셨어요. 결과물도 깔끔하고 활용도 높았습니다." (크몽 실거래 후기)

데이터 수집을 포함한 개발 유형별 전체 비용은 소프트웨어 외주 개발 단가표에서 한 번에 비교할 수 있습니다.