[ 31 ] 스크래핑과 브라우저 주소창의 원리

스크래핑과 크롤링

 

• 크롤링은 웹을 탐색하며 다양한 페이지를 자동으로 방문하고 콘텐츠를 수집하는 과정이에요. 주로 링크를 따라가며 페이지들을 방문하는 데 중점을 둡니다.
• 스크래핑은 특정 웹 페이지에서 필요한 정보만 추출하는 과정이에요. 단순 탐색보다는 특정 데이터를 뽑아내는 작업에 초점이 있어요.

 

브라우저 주소창 == API-GET 요청하는 도구  

API-GET 요청의 응답이 json이라면 단순히 출력을 하고, html 라면 브라우저가 이를 렌더링 해서 보여준다 

 

스크래핑

API-get 요청으로 HTML 응답을 받으면, HTML 안의 데이터를 처리해서 원하는 데이터를 뽑아낸다.