네이버 서치어드바이저에 등록했는데 왜 수집이 안 될까요?

홈페이지를 공개하고 네이버 서치어드바이저에 사이트를 등록해 드리면, 2주쯤 지나 비슷한 연락을 받습니다.

"등록은 분명히 했는데 네이버에서 검색하면 아무것도 안 나옵니다."

열어 보면 원인은 대개 몇 가지 안에 있습니다. 어려운 문제라서 막히는 경우는 생각보다 드뭅니다.

진짜 문제는 어느 화면부터 봐야 하는지 모른 채 등록을 지웠다 다시 하고, 사이트맵을 다시 내고, 수집 요청을 반복하는 데 있습니다.

네이버 서치어드바이저는 구글 서치콘솔과 화면 구성도 용어도 다릅니다. 구글 쪽에 익숙한 분일수록 오히려 더 헤매시는 이유입니다.

아래 순서대로만 보시면 대부분 한 시간 안에 어디서 막혔는지 나옵니다.

'수집이 안 된다'는 건 정확히 어떤 상태인가요?

검색에 안 나오는 상태는 세 단계로 나뉘고, 단계마다 해야 할 일이 완전히 다릅니다.

첫째는 네이버 크롤러가 우리 사이트에 아예 들어오지 못한 상태입니다. 이건 서버나 robots.txt 쪽 문제입니다.

둘째는 들어와서 문서를 가져가긴 했는데 아직 검색 결과에 반영되지 않은 상태입니다. 대부분 기다리는 구간입니다.

셋째는 수집도 반영도 됐지만 순위가 뒤쪽이라 눈에 안 띄는 상태입니다. 이건 등록 문제가 아니라 콘텐츠 문제입니다.

그래서 먼저 할 일은 고치는 게 아니라, 지금이 몇 번째 단계인지 확정하는 일입니다.

서치어드바이저 웹마스터도구에서 리포트의 '수집 현황'과 '사이트 최적화'를 열면 대략 판단이 섭니다.

이 표에서 자기 상황에 해당하는 줄을 먼저 고르셔야 합니다. 여러 줄에 걸쳐 있어 보인다면 위쪽 줄부터 처리하는 것이 맞습니다.

아래 단계는 위 단계가 해결되지 않으면 원인 판단이 불가능하기 때문입니다.

소유확인이 도중에 풀려 있지는 않나요?

가장 먼저 볼 곳입니다. 등록할 때는 통과했는데 나중에 풀려 있는 경우가 실제로 자주 나옵니다.

소유확인은 HTML 확인 파일을 사이트 최상위에 올리거나, 첫 화면의 메타태그를 넣는 방식으로 합니다.

문제는 홈페이지를 다시 배포하거나 테마를 바꿀 때 이 파일과 태그가 함께 사라진다는 점입니다.

확인 방법은 간단합니다. 서치어드바이저가 알려 준 확인 파일 주소를 브라우저 주소창에 그대로 넣어 보시면 됩니다.

파일 내용이 그대로 보이면 정상이고, 404가 뜨거나 홈 화면으로 튕기면 소유확인이 유지되지 않는 상태입니다.

특히 한 페이지로 만든 사이트나 프레임워크로 만든 사이트는 없는 주소를 전부 홈으로 돌려보내는 설정이 기본인 경우가 있어, 이 방식이 잘 깨집니다.

이럴 때는 메타태그 방식으로 바꾸는 편이 안정적입니다.

홈페이지를 새로 배포한 날에는 확인 파일 주소를 한 번 열어 보는 습관을 들이시면, 이 문제로 몇 주를 흘려보내는 일이 없습니다.

robots.txt가 네이버 크롤러를 막고 있지는 않나요?

수집 현황이 며칠째 0건이라면 여기일 가능성이 가장 큽니다.

네이버 검색 크롤러의 이름은 Yeti입니다. robots.txt에서 이 이름을 막아 두면 아무리 등록하고 요청해도 수집되지 않습니다.

서치어드바이저의 검증 메뉴에 robots.txt 확인 기능이 있습니다. 여기서 우리 사이트의 robots.txt를 불러와 수집 가능 여부를 바로 볼 수 있습니다.

상담하다 보면 제작 단계에서 검색을 막아 두었다가 공개 후 그대로 둔 경우가 꾸준히 나옵니다.

• 제작 중에 넣은 `Disallow: /`가 공개 후에도 남아 있는 경우 — 가장 흔합니다.
• 구글 크롤러는 허용하면서 `User-agent: Yeti`만 따로 막아 둔 경우.
• robots.txt 파일 자체가 없어 404가 뜨는 경우 — 대개 수집은 되지만 사이트맵 안내가 빠집니다.
• 보안 플러그인이나 방화벽, CDN이 봇 접근을 차단해 크롤러만 404·403을 받는 경우.
• robots.txt는 정상인데 페이지에 `noindex` 태그가 남아 있는 경우.

마지막 두 가지는 robots.txt만 봐서는 안 보입니다. 브라우저에서는 잘 열리는데 크롤러만 막히는 형태이기 때문입니다.

서버 접근 로그에서 Yeti의 방문 기록이 있는지, 있다면 응답 코드가 200인지 확인하는 것이 가장 확실합니다.

직접 확인이 어렵다면 호스팅 업체에 "네이버 검색 크롤러 접근이 차단되어 있는지" 물어보는 것으로도 대개 답이 나옵니다.

사이트맵을 제출했는데 실패로 뜹니다

사이트맵 실패의 원인은 파일이 열리지 않거나, 안의 주소 형태가 등록 주소와 다르거나, 주소가 비어 있는 세 가지로 거의 정리됩니다.

그래서 순서대로 보면 금방 잡힙니다. 먼저 사이트맵 주소를 브라우저에 직접 넣어 XML이 보이는지 확인합니다. 여기서 안 열리면 나머지는 볼 필요가 없습니다.

다음으로 등록한 사이트 주소와 사이트맵 안에 들어 있는 주소의 형태가 같은지 봅니다.

서치어드바이저에 `https://example.com`으로 등록했는데 사이트맵 안에는 `https://www.example.com`으로 적혀 있으면, 다른 사이트의 주소로 취급되어 처리되지 않습니다.

http로 적혀 있거나 `/column/abc` 같은 상대 경로로 적혀 있는 경우도 마찬가지입니다. 사이트맵 안의 주소는 전부 전체 주소여야 합니다.

상태가 '성공'인데 수집된 URL이 0이라면, 파일은 읽혔지만 안에 주소가 들어 있지 않거나 전부 걸러진 상태입니다.

사이트맵과 함께 RSS를 제출해 두면 새 글이 조금 더 빨리 전달되는 편입니다. 둘 다 내도 문제가 되지 않습니다.

www 있는 주소와 없는 주소, 둘 다 등록해야 하나요?

둘 다 등록하는 대신 한쪽으로 통일한 뒤 그 주소만 등록하는 것이 맞습니다. 네이버 서치어드바이저는 주소 단위로 등록하는 구조이기 때문입니다.

구글 서치콘솔의 도메인 속성처럼 www 유무와 http·https를 한 번에 묶어 주는 방식과는 다릅니다.

실제로는 이렇게 정리합니다. 대표 주소를 하나 정하고, 나머지 주소는 전부 그쪽으로 301 리디렉션을 겁니다.

그다음 대표 주소를 서치어드바이저에 등록합니다. 이 순서를 반대로 하면 소유확인 단계에서 자꾸 실패합니다.

등록하려는 주소가 다른 주소로 리디렉션되고 있으면, 확인 파일을 올려도 그 자리에서 읽히지 않기 때문입니다.

이 표는 새 홈페이지를 공개할 때 한 번만 돌면 됩니다. 여섯 줄이 전부 맞으면 이후에 생기는 수집 문제의 절반 정도는 애초에 나오지 않습니다.

'웹페이지 수집' 요청은 얼마나 자주 눌러도 되나요?

하루 제출 가능 건수에 제한이 있으니, 중요한 주소 위주로 아껴 쓰시는 편이 낫습니다.

새로 만든 사이트라면 첫 화면, 주요 서비스 페이지, 최근에 올린 칼럼 몇 편 정도만 넣고 나머지는 사이트맵에 맡기는 방식을 권합니다.

같은 주소를 하루에 여러 번 요청한다고 순서가 앞당겨지지는 않습니다.

다만 이 메뉴는 요청보다 확인용으로 더 쓸모가 있습니다. 주소를 넣어 보면 그 페이지가 수집된 적이 있는지, 언제였는지가 함께 나옵니다.

네이버는 site: 같은 검색 연산자로 색인 여부를 확인하는 방식이 안정적이지 않기 때문에, 개별 페이지 상태는 이 화면에서 보는 편이 정확합니다.

▲ ▲ 위에서부터 순서대로 봅니다. 앞 단계가 막혀 있으면 뒤 단계는 확인해도 의미가 없습니다

네이버와 구글, 어느 쪽 화면부터 보는 게 빠른가요?

원인을 찾는 단계라면 구글 서치콘솔부터 여는 편이 빠릅니다. 개별 주소를 넣으면 크롤러가 받은 응답과 차단 사유를 문장으로 알려 주기 때문에, 문제 지점이 먼저 드러납니다.

네이버 서치어드바이저는 그 원인을 확정하고 조치한 뒤에 결과를 확인하는 쪽에 강합니다. 두 도구는 대체재가 아니라 역할이 다릅니다.

두 곳의 수집 상태가 다르면 원인이 사이트 전체가 아니라 한쪽 설정에 있다는 뜻입니다. 범위를 좁히는 데 이만큼 빠른 방법이 없습니다.

양쪽 다 0건이라면 서버, 방화벽, robots.txt 같은 공통 원인을 먼저 의심하시면 됩니다.

직접 볼 부분과 맡길 부분은 어떻게 나누나요?

브라우저 주소창만으로 확인되는 항목은 직접 보시고, 서버 설정과 로그를 건드려야 하는 항목은 제작사나 호스팅에 맡기는 것이 기준입니다.

직접 볼 수 있는 항목은 네 가지입니다. 확인 파일 주소가 열리는지, robots.txt 내용이 무엇인지, 사이트맵 XML이 열리는지, www 유무를 바꿔 넣었을 때 대표 주소로 이동하는지.

여기까지는 비용이 들지 않고 30분 안에 끝납니다. 그리고 실제 원인의 절반 이상이 이 네 항목 안에서 발견됩니다.

반대로 301 리디렉션 규칙, 방화벽·CDN의 봇 차단 정책, 서버 접근 로그 확인은 권한과 경험이 필요한 영역입니다.

유지관리 계약이 있다면 대개 포함 범위이고, 없다면 단건 작업으로 요청하게 됩니다. 이때는 작업 범위와 금액을 먼저 문서로 받아 두시는 편이 안전합니다.

업체마다 기준이 달라 금액대는 폭이 넓습니다. 견적을 받을 때는 "무엇을 확인하고 무엇을 수정하는지"가 항목별로 적혀 있는지만 보시면 됩니다.

수집은 됐다는데 검색 결과에는 왜 안 나오나요?

수집과 검색 노출은 다른 단계이고, 네이버는 그 사이에 한 겹이 더 있습니다.

네이버 통합검색은 하나의 목록이 아니라 여러 영역이 쌓인 구조입니다. 홈페이지 글은 주로 웹사이트·웹문서 성격의 영역에 들어갑니다.

블로그나 카페 글이 먼저 보이는 화면에서 우리 홈페이지를 찾으면 당연히 안 보입니다. 검색어에 따라 어떤 영역이 위에 올라오는지가 달라지기 때문입니다.

그래서 확인할 때는 회사 상호나 본문 안의 특징적인 문장을 그대로 넣어 검색해 보시는 편이 낫습니다. 수집됐다면 이 방식으로는 대개 잡힙니다.

상호로도 안 나온다면 아직 반영 전이거나 앞 단계에서 막혀 있는 것이고, 상호로는 나오는데 업종 키워드로만 안 나온다면 그건 순위 문제입니다.

순위 문제라면 등록 화면을 아무리 다시 눌러도 달라지지 않습니다. 그때부터는 페이지 제목, 본문 분량, 지역·업종 표현 같은 콘텐츠 쪽 작업으로 넘어가야 합니다.

얼마나 기다린 뒤에 다시 봐야 하나요?

새 도메인이라면 첫 수집까지 2~4주, 검색 결과에서 안정적으로 보이기까지는 보통 2~3개월 정도를 봅니다.

기존에 운영하던 도메인이라면 이보다 짧고, 며칠 안에 잡히는 경우도 있습니다. 도메인의 나이와 이미 쌓인 기록에 따라 차이가 큽니다.

이 기간에 가장 많이 하시는 실수가 며칠 간격으로 설정을 계속 바꾸는 일입니다.

사이트맵을 다시 내고, 등록을 지웠다 다시 하고, robots.txt를 손대면 무엇 때문에 달라졌는지 나중에 알 수 없게 됩니다.

한 번에 하나씩 바꾸고, 바꾼 날짜를 적어 두시는 편이 결국 빠릅니다.

확인 주기는 처음 한 달은 주 1회, 그다음부터는 2주에 1회 정도가 적당합니다. 매일 열어 보면 변화가 없는 화면을 보며 불필요한 조치를 하게 됩니다.

그리고 네이버만 보지 마시고 구글 서치콘솔도 같이 열어 두시길 권합니다. 두 곳의 수집 상태를 비교하면 원인의 범위가 좁혀집니다.