차례:
정의-웹 크롤러 란 무엇입니까?
웹 크롤러는 웹 인덱싱을 돕는 인터넷 봇입니다. 모든 페이지의 색인이 생성 될 때까지 웹 사이트를 통해 한 번에 한 페이지 씩 크롤링합니다. 웹 크롤러는 웹 사이트 및 관련 링크에 대한 정보를 수집하고 HTML 코드 및 하이퍼 링크를 확인하는 데 도움을줍니다.
웹 크롤러는 웹 스파이더, 자동 인덱서 또는 간단히 크롤러라고도합니다.
Techopedia는 웹 크롤러를 설명합니다
웹 크롤러는 웹 사이트의 URL, 메타 태그 정보, 웹 페이지 컨텐츠, 웹 페이지의 링크 및 해당 링크로 이어지는 목적지, 웹 페이지 제목 및 기타 관련 정보와 같은 정보를 수집합니다. 동일한 페이지를 다시 다운로드하지 않도록 이미 다운로드 한 URL을 추적합니다. 재 방문 정책, 선택 정책, 병렬화 정책 및 공손 정책과 같은 정책 조합에 따라 웹 크롤러의 동작이 결정됩니다. 웹 크롤러에게는 지속적으로 발전하고있는 월드 와이드 웹, 콘텐츠 선택 타협, 사회적 의무 및 적대자를 다루는 많은 과제가 있습니다.
웹 크롤러는 웹 페이지를 보는 웹 검색 엔진 및 시스템의 주요 구성 요소입니다. 웹 항목을 색인화하는 데 도움이되며 사용자가 색인에 대해 조회를 보내고 조회와 일치하는 웹 페이지를 제공 할 수 있습니다. 웹 크롤러의 또 다른 사용은 웹 보관에 있으며, 여기에는 정기적으로 수집 및 보관할 많은 웹 페이지 집합이 포함됩니다. 웹 크롤러는 데이터 마이닝에도 사용되며, 여기서 페이지는 통계와 같은 다양한 속성에 대해 분석 된 후 데이터 분석이 수행됩니다.
