Web Hosting

[aws lamp, wordpress] robots.txt 파일 설정 방법 및 rss추가 방법 및 폴더 접근 제한 방법

관리자

robots.txt는 검색엔진 크롤러에게 “어디를 크롤링해도 되고 / 안 되는지” 알려주는 안내판 같은 거야.
아래에서 RSS 추가 방법이랑 폴더 접근 제한 방법을 딱 정리해줄게.

robots.txt에 RSS(피드) 추가 방법

RSS는 Sitemap 지시어로 등록해주면 돼.
(robots.txt에서 RSS를 직접 크롤링 허용/차단하는 개념은 없고, 피드 위치를 알려주는 용도야)

✅ 기본 예시

User-agent: *
Disallow:

Sitemap: https://example.com/feed/

✅ 워드프레스 기준 (권장)

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/feed/

📌 포인트

  • Sitemap: 는 여러 개 가능
  • RSS(feed)도 sitemap처럼 인식하는 검색엔진이 있음
  • 반드시 절대경로(URL) 로 작성해야 함

특정 폴더 접근 제한 방법 (크롤링 차단)

✅ 특정 폴더 전체 차단

User-agent: *
Disallow: /admin/

👉 /admin/ 폴더 이하 전부 크롤링 금지

✅ 여러 폴더 차단

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Disallow: /private/

✅ 특정 파일 확장자 차단

User-agent: *
Disallow: /*.pdf$
Disallow: /*.zip$

✅ 특정 URL만 차단

User-agent: *
Disallow: /mypage/secret.html

RSS만 차단하고 싶을 때 (⚠️ 주의)

RSS를 아예 검색엔진에 노출하고 싶지 않다면 이렇게 할 수 있어:

User-agent: *
Disallow: /feed/

⚠️ 주의

  • 이러면 RSS 구독 서비스도 접근 불가할 수 있음
  • 보통은 차단 ❌ / 등록 ⭕ 이 일반적이야

검색엔진별 설정 (고급)

✅ 구글봇만 허용 / 차단

User-agent: Googlebot
Disallow: /admin/

User-agent: *
Disallow:

robots.txt 예제 (실전용)

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/feed/

꼭 알아야 할 주의사항 🚨

✔ robots.txt는 보안 기능이 아님

  • URL을 알면 직접 접근 가능
  • 민감한 데이터는 서버단 인증 필요

✔ 이미 색인된 URL은

  • robots.txt로 막아도 바로 사라지지 않음
  • Google Search Console에서 URL 삭제 요청 필요


워드프레스 최적화용 robots.txt (기본 개념)

워드프레스에서 차단해야 할 것 / 허용해야 할 것은 거의 정해져 있어.

✅ 차단 대상 (SEO 불필요)

  • /wp-admin/ → 관리자 페이지
  • /wp-includes/ → 코어 파일
  • /cgi-bin/
  • 검색 파라미터, 임시 파일

✅ 허용 대상 (SEO 필수)

  • 게시글 / 페이지
  • 이미지
  • admin-ajax.php
  • sitemap.xml
  • RSS(feed)

구글 서치콘솔 기준 “권장 설정 원칙”

구글 공식 가이드 + 실전 기준 요약 👇

✔ robots.txt에서는

  • 차단은 최소한만
  • 색인 차단은 noindex가 더 정확함
  • Sitemap은 반드시 등록

✔ 차단하지 말아야 할 것

❌ /wp-content/uploads/ (이미지 SEO 박살남)
❌ CSS / JS 파일

✔ RSS 처리

  • 차단 ❌
  • Sitemap으로 등록 ⭕

Hi, I’m 관리자

Related Posts