크롤링 썸네일형 리스트형 파이썬으로 네이버 쇼핑 리스트를 크롤링하자 오늘은 네이버 쇼핑을 크롤링하는 기능을 구현해볼 것이다. URL은 https://search.shopping.naver.com/search/all?query=키보드&frm=NVSHATC 이다. 네이버 쇼핑에서 "키보드" 를 검색한 1페이지에 해당한다. 네이버 쇼핑몰도 서버에서 모든 HTML을 만들어 주지 않는다. 간단히 브라우저의 javascript 기능을 잠시 disabled해두고 새로고침만 해봐도 추가적인 목록이 렌더링 되지 않는 걸 확인할 수 있다. 그러면 어디에서 해당 내용들을 불러오는걸까. 특정 엔드포인트를 호출하면 상품 목록을 불러올 수 있을까? 개발자도구의 네트워크 탭을 살펴봐도 좋고, HTML코드를 둘러봐도 좋다. 주어진 정보들을 살펴보다보면 어디서 정보를 가져올 수 있을지 단서를 발견하게.. 더보기 파이썬으로 카카오웹툰 순위를 크롤링하자 이번엔 카카오웹툰의 순위를 크롤링하는 기능을 구현해 볼 생각이다. 카카오웹툰의 순위를 볼 수 있는 URL은 https://webtoon.kakao.com/ranking 이다. 역시나 개발자 도구를 통해서 태그의 위치를 알아보자. 1위 웹툰만 먼저 가져와보자. 개발자도구에서 CSS선택자 .mb-2.bg-grey-01.bg-cover.bg-no-repeat > .relative.w-full.bg-transparent 에 해당하는 태그를 가져와보면 잘 가져오는 것을 확인할 수 있다. 그런데 파이썬코드로 수행해봐도 똑같이 가져올 수 있을까? 결과부터 말하자면 "아니다" 왜냐하면 카카오웹툰은 CSR(Client Side Rendering)을 수행하기 때문이다. 따라서 서버에서 보내주는 HTML을 그대로 가져다 분.. 더보기 파이썬으로 네이버웹툰 순위를 크롤링하자 네이버 웹툰의 요일별 인기 순위를 가져와보자. 네이버 웹툰 페이지는 SSR(Server Side Rendering) 으로 동작한다. 따라서 HTML코드만 가져와도 데이터를 얻어내기 용이하기 때문에 난이도가 낮다고 할 수 있다. 인기순으로 정렬된 네이버 웹툰의 URL은 https://comic.naver.com/webtoon/weekday?order=User 이다. 여기서 쿼리 스트링 order값에 따라 정렬순서가 달라진다. (User - 인기순, Update - 업데이트순 등) 브라우저의 개발자도구로 쉽게 태그 위치를 알아낼 수 있다. css선택자로 .list_area.daily_all 해당하는 위치에 웹툰 목록이 위치해있다. 그리고 그 아래에 각 요일별 웹툰이 .list_area.daily_all > .. 더보기 이전 1 다음
