robots.txt 파일을 파싱 ​​할 때 발생하는 오류 목록입니다 .(List of errors when parsing the robots.txt file.)

오류(Error) Yandex 확장(Yandex extension) 상세 설명( Description )

규칙이 / 또는 *로 시작하지 않습니다.

(Rule doesn’t start with / or *)

예(Yes)

규칙은 / 또는 * 문자로만 시작할 수 있습니다.(A rule can start only with the / or * character.)

여러 ‘User-agent : *’규칙이 발견됨

(Multiple ‘User-agent: *’ rules found)

아니요(No)

이 유형의 규칙은 하나만 허용됩니다.(Only one rule of this type is allowed.)

Robots.txt 파일 크기 제한 초과

(Robots.txt file size limit exceeded)

예(Yes)

파일의 규칙 수가 2048 개를 초과합니다.(The number of rules in the file exceeds 2048.)

규칙 앞에 사용자 에이전트 지시문이 없습니다.(No User-agent directive in front of rule.) 아니요(No)

규칙은 항상 User-agent 지시문을 따라야합니다. 아마도 파일에 User-agent 뒤에 빈 줄이있을 수 있습니다.(A rule should always follow the User-agent directive. Perhaps, the file contains an empty line after User-agent.)

규칙이 너무 깁니다.(Rule is too long) 예(Yes)

규칙이 길이 제한 (1024 자)을 초과합니다.(The rule exceeds the length limit (1024 characters).)

잘못된 Sitemap 파일 URL 형식

(Invalid Sitemap file URL format)

예(Yes)

사이트 맵 파일의 URL은 프로토콜을 포함, 전체에 지정해야합니다. 예 : https://www.example.com/sitemap.xml

(The Sitemap file URL should be specified in full, including the protocol. For example, https://www.example.com/sitemap.xml)

예 : 아래와 같이 지시문(Sitemap)을 잘못하여 2번 작성하는 경우에도 이 에러가 보여집니다.

Sitemap: Sitemap: https://www.openfood.kr/sitemap-archives.xml/

잘못된 Clean-param 지시문 형식

(Invalid Clean-param directive format )

예(Yes)

Clean-param 지시문은 로봇이 무시하는 하나 이상의 매개 변수와 경로 접두사를 포함해야합니다. 매개 변수는 & 문자로 구분됩니다. 공백으로 경로 접두어와 구분됩니다.

( The Clean-param directive should contain one or more parameters ignored by the robot, and the path prefix. Parameters are separated with the & character. They are separated from the path prefix with a space. )

경고(Warnings)

robots.txt 파일을 파싱 ​​할 때 발생하는 경고 목록입니다 .(List of warnings when parsing the robots.txt file.)

경고(Warning) Yandex 확장(Yandex extension) 상세 설명(Description)
불법 문자가 사용되었을 가능성이 있습니다.(It’s possible that an illegal character was used) 예(Yes)

파일에 * 및 $ 이외의 특수 문자가 있습니다.(The file contains a special character other than * and $.)

알 수없는 지시문이 발견되었습니다.(Unknown directive found) 예(Yes)

파일에 robots.txt 사용 규칙에 설명되지 않은 지시문이 있습니다 . 이 지시문은 yandex 외에 다른 검색 엔진의 로봇에서 사용할 수 있습니다. robots.txt 사용 규칙 을 참조하시면 robots.txt 에서 사용할 수 있는 지시문과 어떤 경우에 사용하는지 자세히 알 수 있습니다. 

(The file contains a directive that isn’t described in the rules for using robots.txt. This directive may be used by the robots of other search engines)

예 : 

Sitemap: https://www.copy114.kr/sitemap.xml

와 같이 지시문을 작성해 주어야 하는데 아래와 같이 “Sitemap : “을 빼먹은 경우가 그 예입니다. 

https://www.copy114.kr/sitemap.xml

구문 오류(Syntax error) 예(Yes)

문자열은 robots.txt 명령어 로 해석 될 수 없습니다.( The string cannot be interpreted as a robots.txt directive. )

알수없는 오류(Unknown error) 예(Yes)

파일을 분석하는 동안 알 수없는 오류가 발생했습니다. 지원 서비스에 문의하십시오.(An unknown error occurred while analyzing the file. Contact the support service.)

URL 유효성 검사 오류(URL validation errors)

Robots.txt 분석 도구 의 URL 유효성 검사 오류 목록입니다.(The list of the URL validation errors in the Robots.txt analysis tool.)

오류(Error) 상세 설명(Description)
구문 오류(Syntax error)

URL 구문 오류입니다.(URL syntax error.)

이 URL은 도메인에 속하지 않습니다.

(This URL does not belong to your domain)

지정된 URL이 파일이 구문 분석되는 사이트에 속하지 않습니다. 사이트 미러의 주소를 입력했거나 도메인 이름을 잘못 입력했을 수 있습니다.

(The specified URL does not belong to the site for which the file is parsed. Perhaps you entered the address of a site mirror or misspelled the domain name.)