AI 크롤러

AI 크롤러에는 어떤 종류가 있나요?

AI 크롤러는 하는 일에 따라 크게 세 가지로 나뉘어요. AI 모델 학습용 자료를 모으는 크롤러, AI 검색 답변에 쓸 페이지를 미리 모아 두는 검색용 크롤러, 손님이 질문한 순간 페이지를 읽으러 오는 사용자 요청용 방문이에요.

같은 회사 안에서도 이름마다 역할이 달라서, ‘AI 크롤러를 막는다’고 할 때는 무엇을 막는지 정확히 골라야 해요. 학습용을 막아도 검색용이 열려 있으면 AI 검색 답변에는 계속 나올 수 있어요.

사용자 요청용 방문은 손님이 직접 시킨 일이라 robots.txt가 적용되지 않을 수 있다고 OpenAI와 퍼플렉시티는 밝혀요. 반면 Anthropic은 Claude-User도 robots.txt로 조절할 수 있다고 안내해요. 회사마다 정책이 다르고 바뀔 수 있어서 공식 문서를 가끔 확인하는 게 좋아요.

Google-Extended를 막으면 구글 검색에서 빠지나요?

아니요, 구글은 Google-Extended가 구글 검색 노출이나 순위에 영향을 주지 않는다고 밝혀요. Google-Extended는 따로 방문하는 로봇이 아니라, 구글이 모은 내용을 제미나이 모델 학습과 그라운딩(답을 만들 때 검색 내용을 근거로 붙이는 일)에 써도 되는지를 robots.txt에 적는 표시예요.

구글 검색의 AI 개요와 AI 모드는 일반 검색과 같은 조건을 따라요. 일반 검색에 색인되고 스니펫과 함께 보일 수 있는 페이지여야 하니, 검색 크롤러인 Googlebot을 막으면 일반 검색과 AI 기능 모두에서 빠질 수 있어 특히 조심해야 해요.

정리하면 Googlebot은 열어 두고, 제미나이 학습에 쓰이는 게 싫다면 Google-Extended만 막는 식으로 나눌 수 있어요. 이렇게 해도 구글 검색 노출은 그대로라고 구글이 밝히고 있어요.

robots.txt에서 AI 크롤러는 어떻게 설정하나요?

robots.txt는 홈페이지 맨 위 경로(가게주소.kr/robots.txt)에 두는 출입 안내 파일이에요. 크롤러 이름(User-agent)과 허용 · 차단할 경로(Allow · Disallow)를 짝지어 적어요.

robots.txt는 지켜 달라는 약속이지 자물쇠는 아니에요. 공식 크롤러들은 따른다고 밝히지만, 이름을 사칭하는 프로그램이나 일부 사용자 요청형 방문은 따르지 않을 수 있어요. 정말 공개하면 안 되는 정보는 로그인 뒤에 두는 게 맞아요.

1. 01가게주소.kr/robots.txt를 브라우저로 열어 지금 무엇이 적혀 있는지 확인해요.
2. 02‘User-agent: *’ 아래에 ‘Disallow: /’처럼 전체를 막는 줄이 남아 있지 않은지 봐요. 공개 전 테스트 설정이 그대로 남는 경우가 있어요.
3. 03학습용(GPTBot · ClaudeBot · Google-Extended)과 검색용(OAI-SearchBot · Claude-SearchBot · PerplexityBot)을 각각 열지 막을지 정해요.
4. 04막을 크롤러만 이름을 적고 ‘Disallow: /’를 두고, 나머지는 따로 적지 않거나 ‘Allow: /’로 열어 둬요.
5. 05관리자 화면 · 결제 완료 화면처럼 검색에 필요 없는 경로만 골라 막아요.
6. 06하위 도메인(예: shop.가게주소.kr)이 있다면 그 주소에도 robots.txt를 따로 둬요.
7. 07고친 뒤 서치 콘솔의 robots.txt 보고서와 서치어드바이저의 robots.txt 검증으로 다시 확인해요.

학습용은 막고 검색용만 열어도 되나요?

네, 그렇게 나눠 정할 수 있어요. OpenAI는 GPTBot을 막으면 그 사이트 콘텐츠를 기반 모델 학습에 쓰지 말라는 뜻으로 보고, OAI-SearchBot을 막은 사이트는 챗GPT 검색 답변에 보여 주지 않는다고 안내해요.

Anthropic도 ClaudeBot을 막으면 이후 콘텐츠를 학습 자료에서 빼고, Claude-SearchBot을 막으면 검색 답변을 위한 색인에서 빠진다고 설명해요. 가게 홈페이지는 손님에게 알리는 게 목적이라 검색용은 열어 두고, 학습용은 사장님 판단에 따라 정하면 돼요.

직접 쓴 칼럼 · 레시피 · 교육 자료처럼 콘텐츠 자체가 상품인 곳은 학습용을 막는 선택도 충분히 합리적이에요. 반대로 영업시간 · 위치 · 가격처럼 널리 알려져야 하는 정보가 대부분이라면 막아서 얻는 게 크지 않아요.

AI 크롤러를 실수로 막는 경우는 언제예요?

robots.txt를 건드리지 않았는데도 막히는 경우가 있어요. 호스팅이나 CDN(전 세계에 홈페이지 사본을 나눠 두는 서비스)의 보안 기능 중에는 AI 크롤러를 한꺼번에 막는 설정이 있고, 이 설정이 켜져 있으면 robots.txt와 상관없이 크롤러가 들어오지 못해요.

제작사에는 ‘robots.txt에서 어떤 크롤러를 열고 막았나요?’, ‘호스팅 · 보안 설정에 AI 봇 차단이 켜져 있나요?’ 두 가지를 물어보면 대부분 확인돼요. 방문이 너무 잦아 부담이 된다면 ClaudeBot처럼 방문 간격(Crawl-delay) 설정을 지원한다고 밝힌 크롤러도 있어요.

• 공개 전에 켜 둔 ‘검색 차단’ 설정을 공개 후에도 끄지 않은 경우
• 보안 서비스의 ‘AI 봇 차단’ 기능이 기본으로 켜진 경우
• 방문이 많다고 IP 주소를 통째로 막은 경우: Anthropic은 IP 차단이 제대로 동작하지 않을 수 있다며 robots.txt를 권해요
• 자바스크립트를 실행해야만 내용이 보이게 만들어, 일부 크롤러가 빈 화면만 읽을 수 있는 경우