데이터 수집데이터 수집

가격·재고 모니터링 자동화 시스템

여러 판매 채널의 공개 가격·재고를 매일 자동 수집해 변동 시 이메일로 알리고 대시보드에서 비교하는 모니터링 시스템을 구축한 사례입니다. Playwright로 동적 페이지를 처리하고 수집 실패 감지 알림까지 갖춰 데이터 공백 없이 운영합니다.

클라이언트
유통/커머스 고객
기간
5주
비용
~700만원
상태
완료

기술 스택

PythonPlaywrightPostgreSQLNext.jsAWS SES

프로젝트 개요

여러 판매 채널에 상품을 올리는 고객이 채널별 가격과 재고를 매번 수동으로 확인하다 한계에 부딪혔습니다. 공개된 판매 페이지의 가격·재고 정보를 매일 자동으로 모아, 변동이 생기면 바로 알림을 받고 대시보드에서 비교할 수 있는 시스템을 의뢰했습니다.

해결해야 할 과제

1

채널마다 페이지 구조가 달라 수집 로직을 개별 설계해야 했습니다

2

자바스크립트로 그려지는 동적 페이지가 있어 단순 요청으로는 데이터가 안 잡혔습니다

3

수집이 조용히 멈추면 며칠치 데이터가 비는 사고를 막아야 했습니다

솔루션

1

브라우저 자동화 수집

동적 렌더링 페이지는 Playwright 브라우저 자동화로 처리하고, 정적 페이지는 가벼운 방식으로 분리해 서버 비용과 안정성을 동시에 확보했습니다. 대상 서버에 부담을 주지 않는 수집 주기로 설계했습니다.

2

수집 실패 감지·알림

수집이 실패하거나 데이터가 비정상이면 즉시 이메일로 알리도록 설계했습니다. "조용히 죽어서 나중에 발견"하는 크롤러의 고질적 사고를 기본 구조로 차단했습니다.

3

비교 대시보드

수집된 데이터를 채널·상품별로 비교하고, 가격 변동 추이를 시각화하는 대시보드를 제공했습니다. 변동 폭이 큰 항목을 상단에 노출해 대응이 필요한 지점을 바로 파악하게 했습니다.

주요 기능

매일 자동 수집

설정한 시각에 채널별 가격·재고를 자동으로 모읍니다.

변동 알림

가격·재고에 의미 있는 변동이 생기면 이메일로 즉시 알립니다.

비교 대시보드

채널·상품별 현황과 추이를 한 화면에서 비교합니다.

데이터 내보내기

수집 데이터를 엑셀/CSV로 내려받아 별도 분석에 활용합니다.

프로젝트 결과

수동으로 매일 반복하던 확인 작업이 자동화되면서 모니터링에 들이던 시간이 사라졌습니다. 변동 알림으로 대응 타이밍을 놓치지 않게 되었고, 수집 실패 알림 덕분에 데이터 공백 없이 안정적으로 운영되고 있습니다.

고객 후기

복잡한 조건이 많은 데이터 수집 의뢰였는데, 처음 상담부터 요청사항을 정확하게 이해해 주셨어요. 결과물도 깔끔하고 활용도 높았습니다.

J
JLG
크몽 구매 확정 리뷰

이 프로젝트를 다룬 글

비슷한 프로젝트가 필요하신가요?

요구사항을 입력하면 AI가 즉시 예상 견적을 분석해드립니다.

무료 견적 받기

다른 프로젝트도 확인해보세요

·웹 개발
Neural Decode — AI 솔루션 기업 웹사이트

AI 솔루션 기업 N:D(뉴럴디코드)의 소개·서비스 안내 웹사이트를 기획부터 배포까지 3주 만에 자체 개발한 사례입니다. Next.js SSG로 LCP 1초 미만을 달성하고 다크테마 디자인, AWS ECS·Route53 인프라, JSON-LD 기반 SEO까지 적용했습니다.

·웹 개발
Serozip — 정리정돈 전문 서비스 플랫폼

정리정돈 전문 서비스의 소개·온라인 문의 웹사이트를 모바일 퍼스트로 4주 만에 개발했습니다. 터치 친화 UI와 간편 문의 폼, 서비스별 상세 페이지, 지역 키워드 SEO를 적용해 네이버·구글 검색 노출을 확보한 사례입니다.

·풀스택 플랫폼
Freesi — AI 기반 소프트웨어 외주개발 플랫폼

요구사항만 입력하면 OpenAI 기반 AI가 즉시 견적을 산출하는 소프트웨어 외주개발 플랫폼을 자체 개발한 사례입니다. 의뢰·견적·계약·마일스톤 관리를 하나로 잇고, Next.js·NestJS·PostgreSQL과 AWS ECS·RDS로 구축했습니다.

웹/앱·웹/앱 개발
프랜차이즈 통합 관리 플랫폼

50개 이상 가맹점을 운영하는 프랜차이즈 본사를 위해 웹 관리 시스템과 가맹점용 모바일 앱을 8주 만에 함께 개발했습니다. 매출·재고·발주와 공지 푸시, 데이터 분석 대시보드를 React·Node·React Native로 구현한 사례입니다.

GUI·GUI 프로그램
키워드 분석 데스크톱 프로그램

검색 키워드를 수집·분석해 연관도와 빈도를 계산하고 워드클라우드로 시각화하는 설치형 데스크톱 프로그램을 3주 만에 개발한 사례입니다. 한국어 형태소 분석 엔진을 연동하고 결과를 엑셀 보고서로 내보내는 PyQt6 단독 실행 도구입니다.

AI·AI/데이터
AI 영업 브리핑 앱 — 데이터 수집부터 모바일까지

매장 운영 데이터를 자동 수집해 AI가 매일 아침 영업 브리핑으로 요약하는 시스템을 데이터 파이프라인부터 모바일 앱까지 통합 구축한 사례입니다. RAG로 어제 대비 변화를 짚고, 프롬프트·캐싱 설계로 월 AI 운영비를 예산 안에 맞췄습니다.