차례:
정의-거미는 무엇을 의미합니까?
인터넷과 관련하여 스파이더는 웹 페이지를 사용자 검색 쿼리에 대한 검색 결과로 제공하기 위해 일반적으로 웹 페이지를 색인화하기 위해 월드 와이드 웹을 체계적으로 크롤링하고 탐색하도록 설계된 특수 소프트웨어입니다. 이러한 스파이더 중 가장 유명한 스파이더는 Google의 주요 크롤러 인 Googlebot으로 검색어에 대한 관련 결과가 반환되도록합니다.
스파이더는 웹 크롤러, 검색 봇 또는 단순히 봇이라고도합니다.
Techopedia는 거미를 설명합니다
스파이더는 기본적으로 월드 와이드 웹에서 정보를 수집하는 데 사용되는 프로그램입니다. 정보를 추출하고 나중에 사용하기 위해 일반적으로 검색 엔진 결과를 위해 웹 사이트 페이지를 크롤링합니다. 스파이더는 페이지와의 다양한 링크를 통해 웹 사이트 및 해당 페이지를 방문하므로 단일 링크가없는 페이지는 색인을 생성하기 어렵고 검색 결과 페이지에서 실제로 순위가 낮을 수 있습니다. 그리고 페이지를 가리키는 링크가 많으면 페이지가 인기 있고 검색 결과에서 더 높게 나타납니다.
웹 크롤링과 관련된 단계 :
- 스파이더가 사이트를 찾아 페이지 크롤링을 시작합니다.
- 스파이더는 사이트의 단어와 내용을 색인합니다.
- 스파이더는 사이트에있는 링크를 방문합니다.
스파이더 나 웹 크롤러는 단지 프로그램 일 뿐이므로 프로그래머가 설정 한 체계적인 규칙을 따릅니다. 웹 사이트의 소유자는 스파이더에게 사이트의 어느 부분을 색인으로 만들지 말아야하는지 말함으로써이 정보를 얻을 수 있습니다. 스파이더가 색인을 생성 할 부분과 따라야 할 부분과 무시할 부분에 대한 지침이 포함 된 "robots.txt"파일을 생성하면됩니다. 가장 중요한 스파이더에는 Google, Bing 및 Yahoo와 같은 주요 검색 엔진이 소유 한 것이나 데이터 마이닝 및 연구를위한 것이지만 사용자가 회사에 판매 할 이메일을 찾아 수집하기 위해 작성된 일부 악성 스파이더도 있습니다 또는 웹 보안의 취약점을 찾을 수 있습니다.
