- 새 사이트가 안 나오는 이유는 순위 문제가 아니라 대개 색인 문제입니다.
- noindex 태그와 robots.txt 차단이 가장 흔한 원인이고, 둘 다 한 줄로 전체를 막습니다.
- 사이트맵에 리디렉션되는 주소를 실으면 구글이 그 페이지를 색인에서 뺍니다.
- 제출은 서치콘솔·서치어드바이저에서 하고, 반영에는 시간이 걸립니다.
홈페이지를 새로 열고 2주쯤 지나면 거의 같은 연락을 받습니다.
"회사 이름으로 검색해도 안 나오는데요."
실제 운영해 보면 이때 순위를 손보는 것은 거의 의미가 없습니다.
아직 순위 경쟁에 들어가지도 못한 상태, 즉 검색엔진이 페이지를 목록에 넣지 않은 상태이기 때문입니다.
그래서 확인 순서가 중요합니다. 위에서부터 하나씩 짚어야 시간을 낭비하지 않습니다.
먼저 색인이 됐는지 어떻게 확인하나요?
검색창에 `site:` 를 붙여 도메인을 넣어 보는 것이 가장 빠릅니다.
결과가 하나도 안 나오면 순위가 낮은 것이 아니라 아예 등록되지 않은 것입니다.
정확히 보려면 구글 서치콘솔의 URL 검사 기능을 씁니다. 해당 주소가 색인됐는지, 안 됐다면 이유가 무엇인지 알려 줍니다.
여기서 나오는 사유 문구가 다음에 무엇을 고쳐야 하는지 그대로 알려 줍니다.
| 서치콘솔에 뜨는 사유 | 실제 원인 | 조치 |
|---|---|---|
| 'noindex' 태그에 의해 제외됨 | 페이지가 색인 거부를 스스로 선언 | meta robots 와 X-Robots-Tag 헤더 확인 |
| robots.txt에 의해 차단됨 | 크롤러 접근 자체를 막음 | Disallow 규칙 수정 |
| 리디렉션이 포함된 페이지 | 제출한 주소가 다른 주소로 넘어감 | 사이트맵·canonical 을 최종 주소로 |
| 크롤링됨 - 현재 색인 생성 안 됨 | 내용이 얕거나 중복으로 판단 | 본문 보강, 중복 페이지 정리 |
| 발견됨 - 현재 색인 생성 안 됨 | 대기 중이거나 우선순위 낮음 | 내부링크 보강 후 기다림 |
가장 흔한 원인은 무엇인가요?
제작 중에 걸어 둔 색인 차단을 그대로 두고 오픈한 경우입니다.
작업 중인 사이트가 검색에 노출되면 곤란하니 막아 두는 것은 정상입니다. 문제는 여는 날 푸는 것을 잊는 것입니다.
특히 워드프레스는 설정 안에 체크박스 하나로 전체 색인을 막는 기능이 있어서, 이것 하나로 몇 달을 날리는 경우를 봤습니다.
직접 만든 사이트라면 두 군데를 봐야 합니다.
- HTML 안의 meta robots 태그에 noindex 가 들어 있는지
- 서버가 X-Robots-Tag 헤더로 noindex 를 내보내는지
- robots.txt 에 Disallow: / 가 남아 있는지
- 스테이징 도메인용 설정이 운영 도메인에 그대로 배포됐는지
meta 태그에는 index 라고 적혀 있어도 서버가 헤더로 noindex 를 보내면 헤더가 이깁니다. 브라우저에서 소스만 봐서는 보이지 않기 때문에, 응답 헤더까지 확인해야 원인을 찾을 수 있습니다.
사이트맵만 내면 되는 것 아닌가요?
사이트맵은 목록일 뿐이고, 그 목록이 정확해야 효과가 있습니다.
실제 운영해 보면 사이트맵 자체가 문제를 만드는 경우가 적지 않습니다.
대표적인 것이 최종 주소가 아닌 주소를 싣는 경우입니다.
예를 들어 서버가 `/page.html` 을 `/page` 로 넘기는데 사이트맵에는 `.html` 주소가 들어 있으면, 구글은 제출받은 주소마다 리디렉션을 만나고 그 페이지를 색인에서 뺍니다.
▲ 제출한 주소와 실제로 열리는 주소가 같아야 합니다
제출은 어디서 하고 얼마나 걸리나요?
구글은 서치콘솔, 네이버는 서치어드바이저에 사이트를 등록하고 사이트맵을 제출합니다.
등록 자체는 십 분이면 끝나지만, 실제로 목록에 오르는 데는 시간이 걸립니다.
새 도메인은 특히 그렇습니다. 며칠에서 몇 주까지도 걸리며, 이 구간에서 초조해져 설정을 이것저것 바꾸다 오히려 꼬이는 경우가 많습니다.
제출한 뒤에는 서치콘솔의 색인 현황만 주기적으로 보면서 기다리는 편이 낫습니다.
새 사이트일수록 내부링크가 중요합니다. 메인에서 모든 주요 페이지로 한 번에 닿을 수 있으면 크롤러가 훨씬 빨리 전체를 훑습니다. 어디서도 링크되지 않은 페이지는 사이트맵에만 있어도 뒤로 밀립니다.
그래도 안 나오면 무엇을 봐야 하나요?
색인은 됐는데 검색 결과에서 안 보이는 경우라면, 그때부터가 순위 이야기입니다.
회사 이름으로도 안 나온다면 상호가 본문에 제대로 적혀 있는지, 사업자 정보와 연락처가 일관되게 들어가 있는지부터 봅니다.
지역 업종이라면 지도 등록 정보와 홈페이지의 상호·주소·전화번호가 같은 값인지도 확인해야 합니다.
값이 서로 다르면 검색엔진이 같은 업체로 묶지 못합니다.
여기까지 정리하고 나서 콘텐츠를 쌓아야 시간이 헛되지 않습니다.