Listly(리스틀리), 클릭 한 번으로 업계별 데이터 수집하기

 

 

 

각종 정보가 범람하고 데이터 관리가 중요해진 시점, 데이터 추출을 쉽게할 수 있는 서비스가 있어서 소개합니다.

 

 

리스틀리 | 단숨에 웹데이터 추출!

 

해외에 Import.io, zyte.com 이 있다면 국내 서비스로는 Listly.io가 대표적인 서비스인데요.

리스틀리의 경우 크롬/엣지 확장프로그램으로 출시되어있고, 브라우저상에서 버튼하나를 누르면 다양한 형태의 데이터들을 긁어와 엑셀로 만들어줍니다. 

 

 

데이터 수집 자체는 어렵지 않지만, 어떤 데이터를 어떻게 가져올지가 중요하겠죠.

리스틀리에서 분야별 데이터 추출량을 분석한 통계를 근거로 아래 활용법을 알려드립니다.

 

 

1. 커머스 쇼핑 : 경쟁 쇼핑몰, 도매몰 인기상품, 최저가 정보 긁어오기로 활용

 커머스,쇼핑 분야는 데이터 크롤링이 가장 많이 사용되는 분야입니다. 리스틀리에서도 38.3%가 이 분야에서 수집되고 있습니다. 대표적인 예가 최저가 수집이구요. 

예를 들어 쇼핑몰C사 에서는 오픈마켓 경쟁사의 상품가격정보를 긁어다가 최저가를 맞춥니다.

호텔예약 플랫폼인 B사는 포털의 숙박상품,연락처를 수집해 상품을 업로드하고 새 상품을 개발하구요. 여행사K는 주기적으로 항공권 데이터를 수집하여, 이를 자사가 판매하는 패키지 상품에 반영합니다.

 

데이터는 언어의 장벽도 뛰어 넘기 때문에 해외 도매 사이트의 상품 데이터를 긁어와 자사몰 운영에 사용하기도 합니다.

 

2. 엔터테인먼트 : 음원 순위/ 판매량 분석, 유튜브 인기 분석

최근에는 엔터분야에서도 데이터 수집의 중요도가 높아지고 있어요. 음원과 음반 유통을 하는  G사는 음원 사이트의 순위와 재생횟수, 신보 발매 상황을 매일 크롤링 합니다. 

데이터 자체는 음원사이트에서 볼 수 있지만, 사이트별, 일자별로 흩어진 정보를 엑셀 등의 형태로 정량화해서 활용하기 쉽게 만들어두는 겁니다. 

 

유튜브가 대세로 떠오르고, 조회수만해도 음원, 뮤직비디오, 무대 영상, 팬 영상까지 봐야할 데이터가 더 많기 때문입니다. 

긁어온 데이터를 엑셀로 저장해 필터와 함수를 이용해 가공하여 살펴봅니다.

실제 가수는 물론 팬클럽도 데이터를 긁어와 음원 인기를 분석하여 음원재생 총공에 활용한다고 하네요.

 

3. 리서치 : 공공기관/연구기관 데이터 수집, 뉴스 클리핑, 마케팅 성과 분석

 

리서치는 데이터가 가장 직접적으로 사용되는 분야로, 16.8%의 데이터가 리서치에서 수집되고 있다고해요. 리서치 전문 기업H사는 정부의 최신 공개 데이터를 지속적으로 수집하여 경기, 시장 동향을 살피고. 공공기관 입찰을 하는 기업은 '나라장터'등에서 입찰 정보를 수집합니다.

 

산업 동향을 살피는데에도 사용되는 데요. 블록체인 기업K의 경우 '블록체인' '이더리움' 같은 키워드를 이용해 뉴스 검색 결과를 수집합니다. 마케팅에서도 중요한게 뉴스검색인데요. 보도자료의 효과적인 발행결과나, 어떤 언론이 회사에 주목하는지를 한눈에 살필 수 있습니다. 

 

 

마케팅 캠페인 효과 측정시에도 데이터 크롤링이 중요합니다. 병원 마케팅 대행사K는 검색어 관고를 집행 후 해당 키워드를 매일 검색해본 뒤 이 결과를 크롤링해 엑셀 파일로 저장해둡니다. 데이터가 많이 쌓일수록, 그냥 쌓은것보다 정량화한 문서의 차이가 커질겁니다.

 

 

4. 기타 : 리뷰 및 업체 연락처 수집, 부동산 데이터 정제

 

마케팅 에이전시 L사는 상품 리뷰를 수집합니다. 정성적인 데이터를 엑셀로 만들어두면 한 눈에 볼 수있죠. 

쇼핑몰별, 평점별로 데이터를 분리할 수 있고, 또 '찍힘', '배송'등 특정 키워즈를 검색해, 유저들의 불만제기도 파악할 수 있습니다.

 

또 하나 흥미로운 점은 13.9%의 데이터가 '연락처 수집'이라는 한가지 작업에 사용되었다는건데요. 에이전시 N에서는 각종 행사, 협회 홈페이지 등에 공개되어있는 회사 정보 및 연락처를 크롤링합니다. 지도 앱의 검색 페이지를 크롤링하면, 주변 업소 연락처를 한 번에 수집할 수 있습니다.

 

한편, 최근 급격히 데이터 활용이 증가하고 있는분야는 5.4%를 차지하는 부동산 정보입니다.

구글, 네이버 등에서 제공하는 부동산 포털을 크롤링해서 특정 지역 매물을 한눈에 볼 수 있습니다. 

건물 형태, 매매형태, 층, 임대료 등 속성에 따라 분류할 수 있어서 다양한 활용이 가능하답니다.

 

 

데이터는 이제 공공연하게 활용되고 있는데요. 모든 회사에서 파이썬을 다루거나 데이터 사이언티스트를 채용하긴 힘듭니다. 데이터 수집과 정제는 꽤 어려운 일이기도 하구요. 

다행스럽게도 리스틀리같은 여러 자동화 툴을 이용해 데이터를 수집하고 정제해서 활용할 수 있다는 점입니다.

웹 브라우저에 확장 프로그램 하나만 설치 하면 수천, 수만 개의 정보를 수집하는게 클릭 몇번으로 가능해지니까요.

 

 

 

현재 리스틀리(www.listly.io)에서는 무료 사용을 제공하고 있으니 궁금하시다면, 한 번 사용해보는 것도 좋겠습니다. :)

 

 

 

 

https://ppss.kr/archives/257557