1. Robots.txt란 무엇인가? ▶ robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다. ▶ robots.txt 파일은 항상 사이트의 루트 디렉토리에 위치해야 하며 로봇 배제 표준을 따르는 일반 텍스트 파일로 작성해야 합니다. 1-1. Robots.txt 위치 ▶ robots.txt 파일은 반드시 사이트의 루트 디렉토리에 위치해야 하며 텍스트 파일 (text/plain) 로 접근이 가능해야 합니다. 예를 들어) https://www.example.com/robots.txt 2. 사용 예시들 User-agent: * Allow: / ▶ 모든 로봇에게 모든 문서에 대한 접근을 허락합니다. User-agent: * Disallow: / ▶ 모든 ..