차례:
정의-스파이더 트랩이란 무엇입니까?
스파이더 트랩은 웹 크롤러 또는 봇을 무한 루프 또는 기타 재귀 상황에서 트랩하여 자원을 차지하고 본질적으로 특정 반복 세트에 대해 해당 크롤러를 연결하는 온라인 기능입니다.
스파이더 트랩은 크롤러 트랩이라고도합니다.
Techopedia는 Spider Trap을 설명합니다
일부 스파이더 트랩은 의도적으로 웹 크롤러의주의를 돌리기 위해 만들어졌습니다. 예를 들어, 웹 크롤러가 사이트 또는 온라인 공간의 다른 영역으로 이동하는 대신 웹 크롤러가 해당 구조로 크롤링하도록 딥 디렉토리 구조를 프로그래밍 할 수 있습니다. 또한 프로그래머는 크롤러의 어휘 분석기에 과부하를 걸거나 쿠키로 세션을로드하여 스팸봇 또는 기타 크롤러의 리소스를 소진시킬 수 있습니다.
다른 스파이더 트랩은 프로그래밍 오류를 통해 의도 치 않게 만들어집니다. 일부 유형의 캘린더 참조는 무한 루프처럼 보이고 크롤러의 성능이 저하 될 수 있습니다.
로봇 웹 크롤러를 포일하기 위해 스파이더 트랩 및 기타 디자인의 사용은 새로운 기계 학습 및 인공 지능 원리의 출현으로 변화 할 것입니다. 설계자들은 이제 사람과 같은 방식으로 온 스크린 명령에 응답 할 수있는 웹 크롤러를 만들 수 있다는 것을 증명 했으므로 보안 문자와 같은 리소스는 더 이상 로봇 사용자에게 효과적이지 않습니다. 스파이더 트랩과 크롤러 트랩은 크롤러 나 봇을 사용하는 당사자가 이러한 트랩을 인식하고 피할 수있는 능력을 발휘하도록 투자하기 때문에 아마 그렇지 않을 것입니다.
