중복 컨텐츠로 인식돼 검색결과에 나오지 않을 때 해결방법 : 구글 서치 콘솔의 [Fetch as google], 네이버 웹마스터 도구의 [웹페이지 수집], 얀덱스의 [Reindex pages]

자신의 컨텐츠임에도 사이트 이전 과정에서 검색엔진이 중복 컨텐츠로 분류하는 경우, 검색결과에 노출이 되지 않아 SEM(검색엔진마케팅, Search Engine Marketing) 자체가 안되는 난감한 경우가 있습니다. 

이때 해결책이 아래의 2가지 해결방법입니다.  이 해결책들은 사이트 소유권을 인증한 웹마스터도구에서 이 컨텐츠는 중복 컨텐츠가 아니고 나의 컨텐츠가 맞으니 색인 및 검색결과에 노출시켜 달라고 검색엔진에 요청하는 경우로 아주 잘 적용되므로 필히 활용해 보세요. 

 

구글 서치 콘솔 의 Fetch as google

구글 서치 콘솔

2019-07-17 기준 구글 서치 콘솔은 새버전으로 계속 이동중이며  구버전의 Fetch as google은  URL 검사 도구 로 변경되었습니다. 

구글 서치 콘솔 에서 [URL 검사]로 이동후, 색인 요청할 URL (중복 컨텐츠로 분류되어 색인이 안되고 있는 URL)을 입력해 줍니다. 3과 같이 “….등록되어 있지 않음”이라고 나오면 4. 색인생성요청을 하시면 끝입니다. 1 개의 URL 당 1~2분정도 걸려서 지루한 반복 작업이나 그 결과는 확실하니 인내심을 갖고 진행해주세요. 하루에 몇개까지 보낼 수 있는 제한이 있는 것 같습니다. 전에는 50개였던 것 같습니다. 매일매일 계속 보내야 하는 반복 작업이 이어질 것입니다. 그러나 꼭 인내심을 갖고 활용하시길 기원합니다.  

구글 서치 콘솔_URL 검사 및 색인생성요청

 

참고 : 구글 서치 콘솔의 도구 및 보고서 비교

여러 보고서 및 도구의 새 버전이 만들어졌으며, 다른 보고서 및 도구도 새로운 버전으로 계속해서 이전될 예정입니다. 다음은 기존 Search Console과 새 Search Console 간의 도구 및 보고서를 비교한 표입니다. 이 목록은 새 보고서가 추가되면 변경됩니다.

각 보고서의 새 버전이 제공되는 경우 사용하는 것이 좋습니다. 상응하는 새 보고서가 있는 기존 보고서는 곧 삭제됩니다.
기존 Search Console 보고서 새 Search Console에서 대체되는 항목 비교
검색 애널리틱스

실적

새 보고서에는 16개월분의 데이터가 표시되며 사용이 훨씬 간편합니다.
리치 카드 개별 개선사항 보고서 새 보고서는 세부적인 디버깅 정보를 제공하며, 클릭 한 번으로 수정된 문제에 관한 재크롤링을 요청할 수 있습니다.
사이트로 연결되는 링크
내부 링크
링크 새 보고서에는 사이트로 연결되는 링크와 내부 링크 보고서가 통합되어 있으며, 링크수의 신뢰도가 개선되었습니다.
색인 상태 색인 생성 범위 상태 새 보고서에는 기존 보고서의 모든 정보에 더해 Google 색인의 세부적인 크롤링상태 정보가 표시됩니다.
사이트맵 보고서 사이트맵 표시되는 정보는 유사하지만 보고서 디자인이 개선되었습니다. 기존 보고서에서는 사이트맵을 제출하지 않고 테스트할 수 있었지만, 새 보고서에서는 사이트맵을 제출해야 테스트할 수 있습니다.
Accelerated Mobile Pages AMP 상태 새 보고서에서는 더욱 다양한 오류 유형이 보고되며, 수정된 페이지의 색인을 다시 생성하도록 요청하는 수정 절차가 추가되었습니다.
직접 조치 직접 조치 새 보고서에는 검토 요청 및 결과를 포함한 직접 조치 내역이 표시됩니다.
Fetch as Google URL 검사 도구 URL 검사 도구에는 URL의 색인 생성된 버전 및 게시된 버전에 관한 정보가 표시되며, 여기에서 크롤링을 요청할 수도 있습니다. 새로운 정보에는 표준 페이지의 URL, NOINDEX/nocrawl 차단, URL이 Google 색인에 포함되어 있는지 여부 등이 포함됩니다.
모바일 사용 편의성 모바일 사용 편의성 정보는 유사하지만 더욱 사용하기 편리한 형식으로 제공됩니다. 또한 모바일 사용 편의성 문제가 수정된 페이지의 색인을 다시 생성하도록 요청하는 수정 절차가 포함되어 있습니다.
크롤링 오류 보고서 색인 생성 범위 보고서및 URL 검사 도구

크롤링 오류는 새로운 색인 생성 범위 보고서에서는 사이트 수준에서 표시되며 새로운 URL 검사 도구에서는 개별 URL 수준에서 표시됩니다. 이러한 보고서를 활용해 문제의 심각성에 우선순위를 부여하고, 유사한 문제별로 페이지를 묶어보면 일반적인 근본 원인을 찾을 수 있습니다.

이전 보고서에는 지난 3개월 동안 발생한 모든 오류가 표시되었으나, 이 중에는 오래되었거나, 일시적이거나, 상대적으로 중요하지 않은 오류가 포함되어 있었습니다. 새로운 보고서는 지난달에 있었던 문제 중 Google에 중요한 문제에 초점을 맞춥니다. 다시 말해 페이지가 색인에서 삭제되거나 페이지의 색인 생성에 방해가 될 수 있는 문제만 사용자에게 표시됩니다. 

또한 표시되는 문제의 중요도에 우선순위가 부여되었습니다. 예를 들어 404 오류는 사용자가 사이트맵 등을 통해 특별히 URL 크롤링을 요청한 경우에만 오류로 간주됩니다.

이러한 새로운 기능은 Googlebot이 사이트에서 확인한 모든 오류의 목록을 단순히 보고하는 것이 아니기 때문에 Google 색인에서 사이트에 영향을 준 문제에 초점을 맞출 수 있도록 도와줍니다.

다음 오류는 새로운 색인 생성 범위 보고서에서 좀 더 개선되었거나 표시되지 않습니다.​

URL 오류 – 데스크톱

이전 오류 카테고리 대체
서버 오류 모든 서버 오류는 색인 생성 범위 보고서에 서버 오류(5xx)로 보고됩니다.
Soft 404

사용자가 오류를 크롤링 대상으로 제출했는지에 따라 색인 생성 범위 보고서에 다음 중 하나로 보고됩니다.

  • 오류: 제출된 URL이 Soft 404를 반환합니다.
  • 제외됨: Soft 404
액세스 거부됨

사용자가 오류를 크롤링 대상으로 제출했는지에 따라 색인 생성 범위 보고서에 다음 중 하나로 보고됩니다.

  • 오류: 제출된 URL이 승인되지 않은 요청(401)을 반환합니다.
  • 제외됨: 승인되지 않은 요청(401)으로 인해 차단되었습니다.
찾을 수 없음

사용자가 오류를 크롤링 대상으로 제출했는지에 따라 색인 생성 범위 보고서에 다음 중 하나로 보고됩니다.

  • 오류: 제출된 URL을 찾을 수 없습니다(404).
  • 제외됨: 찾을 수 없음(404)
기타 색인 생성 보고서에 크롤링 오류로 보고됩니다.

URL 오류 – 스마트폰

현재로서는 보고되지 않으나 이에 관한 해결책을 제시하기 위해 노력하고 있습니다.

사이트 오류

사이트 오류는 새로운 Search Console에 표시되지 않습니다.

보안 문제 새로운 보안 문제 보고서 새로운 보안 문제 보고서에서는 이전 보고서의 기능 대부분이 대체되었으며 사이트의 문제 기록이 표시됩니다.
구조화된 데이터 리치 결과 테스트 및 리치 결과 보고서 개별 URL의 경우 리치 결과 테스트나 URL 검사 도구를 사용하세요. 사이트 전체의 보고를 확인하려면 사이트를 대상으로 한 개별 리치 결과 보고서를 확인하세요. 아직 모든 리치 결과 유형에 관해 보고서가 제공되고 있지는 않지만, 보고 범위는 점차 증가하고 있습니다.
HTML 개선 없음 동등한 수준의 보고서가 제공되지 않습니다. 제목 및 스니펫 개선을 위한 권장사항을 준수하세요.
차단된 리소스 URL 검사 도구 사이트 전체의 차단된 리소스 보기는 불가능하지만, URL 검사 도구를 사용해 개별 URL에 차단된 리소스 목록은 볼 수 있습니다.
Android 앱 없음 2019년 3월 이후 Search Console에서 Android 앱 지원이 중단됩니다.
속성 집합 없음 2019년 3월 이후 Search Console에서 속성 집합 지원이 중단됩니다.

 

 

네이버 웹마스터 도구의 [웹페이지 수집]

네이버 웹마스터 도구에서는 [웹페이지 수집]이 구글 서치 콘솔의 Fetch as google 와 같은 역할을 합니다. 

아래의 게시글을 참조하세요. 

네이버 웹마스터 도구( https://webmastertool.naver.com ) : Troubleshooting 포함

 

얀덱스의 [Reindex pages]

얀덱스의 [Reindex pages]는 [웹페이지 수집]이 구글 서치 콘솔의 Fetch as google 와 같은 역할을 합니다. 

아래의 게시글을 참조하세요. 

얀덱스 웹마스터 도구( https://webmaster.yandex.com/ )

 

빙 bing 의 [URL 제출]

같은 기능이 bing 웹 마스터 도구(  https://www.bing.com/webmaster/ )에도 있습니다.
[내 사이트 구성] -> [URL]제출에서 가능한데 문제는 하루에 사이트당 10개까지만 가능하고 제출을 해보면 20%정도만 제출이 됩니다. 페이지로 새로고침을 하거나 다른 URL로 이동했다가 다시 https://www.bing.com/webmaster/configure/submit/ 로 와서 다시 제출하기를 반복해야해서 상당히 어려움 작업입니다.

빙 bing 웹마스터 도구에서 URL 제출_웹수집 요청하기