크롤링 외주 개발 비용과 법적 이슈: 맡기기 전에 알아야 할 것들

크롤링 개발 비용은 "몇 개 사이트에서, 얼마나 자주, 어떤 방어를 뚫고" 수집하는지에 따라 결정됩니다.

비용을 크게 흔드는 변수 3가지

1. 동적 렌더링 여부 — 자바스크립트로 그려지는 페이지는 브라우저 자동화가 필요해 서버 비용과 공수가 2배 이상 됩니다.

2. 로그인·봇 차단 — 로그인 세션 유지, CAPTCHA, 요청 제한(rate limit) 대응은 각각 별도 공수입니다.

3. 데이터 정제 수준 — "긁어온 원본"과 "중복 제거·정규화된 데이터"는 다른 산출물입니다. 어디까지 정제해서 받을지 미리 정하세요.

크롤링은 기술보다 법적 경계 확인이 먼저입니다. 발주 전 아래 3가지를 스스로 점검하세요. (아래는 일반적인 실무 기준이며 법률 자문이 아닙니다. 사업의 핵심이 크롤링 데이터라면 변호사 검토를 권합니다.)

1. 공개 데이터인가

로그인 없이 누구나 볼 수 있는 공개 정보의 수집은 일반적으로 허용 범위로 봅니다. 반면 로그인 뒤에만 보이는 데이터, 유료 콘텐츠의 수집은 이용약관 위반과 부정경쟁 이슈가 생길 수 있습니다.

2. 개인정보가 섞여 있는가

이름, 연락처, 이메일 등 개인정보는 공개돼 있어도 동의 없는 수집·이용이 개인정보보호법 위반이 될 수 있습니다. "사람에 대한 데이터"가 목적이라면 반드시 사전 검토가 필요합니다.

3. 데이터베이스권·저작권 침해인가

상당한 투자로 구축된 데이터베이스를 통째로 복제해 경쟁 서비스를 만드는 것은 저작권법(데이터베이스제작자 권리) 침해가 될 수 있습니다. 시세 비교·시장 조사처럼 가공·분석 목적의 수집과, 원본을 그대로 재게시하는 것은 법적 평가가 다릅니다.

안전한 발주 습관: 수집 대상 사이트의 이용약관과 robots.txt를 확인하고, 가능하면 공식 API가 있는지 먼저 찾아보세요. 공식 API가 있으면 크롤링보다 싸고 안정적이며 법적 리스크도 없습니다.

크롤링 외주에서 개발사의 태도는 법적 리스크의 신호이기도 합니다.

경계 신호

"다 긁어올 수 있어요. 문제없어요" — 법적 경계에 대한 질문 없이 무조건 가능하다고 하면, 문제가 생겼을 때 책임 소재가 발주사로 넘어옵니다.

CAPTCHA·봇 차단을 "우회"하는 것을 당연한 기능처럼 제안 — 명시적 차단을 우회하는 수집은 분쟁 시 불리하게 작용할 수 있습니다.

수집한 데이터의 이용 범위를 묻지 않음 — 내부 분석용인지 재판매용인지에 따라 리스크가 완전히 다릅니다.

좋은 신호

공식 API 존재 여부를 먼저 확인해 준다

요청 빈도를 대상 서버에 부담 없는 수준으로 설계한다 (과도한 요청은 업무방해 소지)

robots.txt와 이용약관 확인을 발주사와 함께 진행한다

개인정보 필드는 수집 전에 짚고 넘어간다

계약서에는 "수집 대상·항목·빈도"를 명시하고, 법적 문제 발생 시의 책임 범위를 정해두는 것이 서로에게 안전합니다.

크롤링 외주에서 가장 많이 생기는 분쟁은 납품 후 몇 달 뒤 찾아옵니다. 대상 사이트가 개편되면 크롤러는 반드시 깨지기 때문입니다.

이것은 개발 하자가 아니라 크롤러의 본질입니다. 대상 사이트는 우리가 통제할 수 없고, HTML 구조가 바뀌면 수집 로직도 바뀌어야 합니다.

그래서 계약 때 이렇게 하세요

하자보수와 "사이트 개편 대응"을 분리 — 버그 수정(무상)과 대상 사이트 변경 대응(유상)은 다른 항목입니다. 개편 대응의 건당 비용 또는 월 유지보수료를 미리 정하세요.

장애 감지 알림을 범위에 포함 — 크롤러가 조용히 죽어서 한 달치 데이터가 빈 것을 나중에 발견하는 사고가 흔합니다. "수집 실패 시 이메일/알림" 기능은 필수 옵션입니다.

월 운영비를 미리 계산 — 서버(브라우저 자동화면 사양 상승), 프록시/IP 비용, 저장소 비용이 매달 나갑니다. 개발비와 별도로 월 5만~50만 원 수준의 운영비를 예산에 잡으세요.

정기 수집이 사업에 중요하다면, 단발 개발보다 월 유지보수 계약(개발사가 수집 성공률을 책임지는 구조)이 총비용 면에서 유리한 경우가 많습니다.