크롤링데이터 수집

가격·재고 모니터링 자동화 시스템

여러 판매 채널의 가격·재고를 매일 자동 수집해 변동을 알림으로 받고, 대시보드에서 한눈에 비교하는 모니터링 시스템을 구축한 프로젝트입니다.

클라이언트
유통/커머스 고객
기간
5주
비용
~700만원
상태
완료

기술 스택

PythonPlaywrightPostgreSQLNext.jsAWS SES

프로젝트 개요

여러 판매 채널에 상품을 올리는 고객이 채널별 가격과 재고를 매번 수동으로 확인하다 한계에 부딪혔습니다. 공개된 판매 페이지의 가격·재고 정보를 매일 자동으로 모아, 변동이 생기면 바로 알림을 받고 대시보드에서 비교할 수 있는 시스템을 의뢰했습니다.

해결해야 할 과제

1

채널마다 페이지 구조가 달라 수집 로직을 개별 설계해야 했습니다

2

자바스크립트로 그려지는 동적 페이지가 있어 단순 요청으로는 데이터가 안 잡혔습니다

3

수집이 조용히 멈추면 며칠치 데이터가 비는 사고를 막아야 했습니다

솔루션

1

브라우저 자동화 수집

동적 렌더링 페이지는 Playwright 브라우저 자동화로 처리하고, 정적 페이지는 가벼운 방식으로 분리해 서버 비용과 안정성을 동시에 확보했습니다. 대상 서버에 부담을 주지 않는 수집 주기로 설계했습니다.

2

수집 실패 감지·알림

수집이 실패하거나 데이터가 비정상이면 즉시 이메일로 알리도록 설계했습니다. "조용히 죽어서 나중에 발견"하는 크롤러의 고질적 사고를 기본 구조로 차단했습니다.

3

비교 대시보드

수집된 데이터를 채널·상품별로 비교하고, 가격 변동 추이를 시각화하는 대시보드를 제공했습니다. 변동 폭이 큰 항목을 상단에 노출해 대응이 필요한 지점을 바로 파악하게 했습니다.

주요 기능

매일 자동 수집

설정한 시각에 채널별 가격·재고를 자동으로 모읍니다.

변동 알림

가격·재고에 의미 있는 변동이 생기면 이메일로 즉시 알립니다.

비교 대시보드

채널·상품별 현황과 추이를 한 화면에서 비교합니다.

데이터 내보내기

수집 데이터를 엑셀/CSV로 내려받아 별도 분석에 활용합니다.

프로젝트 결과

수동으로 매일 반복하던 확인 작업이 자동화되면서 모니터링에 들이던 시간이 사라졌습니다. 변동 알림으로 대응 타이밍을 놓치지 않게 되었고, 수집 실패 알림 덕분에 데이터 공백 없이 안정적으로 운영되고 있습니다.

고객 후기

복잡한 조건이 많은 데이터 크롤링 의뢰였는데, 처음 상담부터 요청사항을 정확하게 이해해 주셨어요. 결과물도 깔끔하고 활용도 높았습니다.

J
JLG
크몽 구매 확정 리뷰

비슷한 프로젝트가 필요하신가요?

요구사항을 입력하면 AI가 즉시 예상 견적을 분석해드립니다.

무료 견적 받기

다른 프로젝트도 확인해보세요