# 도메인 감정 서비스 - robots.txt
# 생성일: 2025-01-08

# 모든 검색엔진 봇에 대한 기본 규칙
User-agent: *

# 허용할 페이지들
Allow: /
Allow: /static/
Allow: /templates/

# 차단할 페이지들
Disallow: /api/
Disallow: /evaluate
Disallow: /adfit_test
Disallow: /adfit_debug
Disallow: /debug_evaluate
Disallow: /*.log$
Disallow: /nohup.out
Disallow: /test_*
Disallow: /debug_*

# 개발 및 테스트 파일들 차단
Disallow: /*.py$
Disallow: /*.pyc$
Disallow: /__pycache__/
Disallow: /.git/
Disallow: /.kiro/
Disallow: /Dockerfile
Disallow: /requirements.txt
Disallow: /README.md
Disallow: /start_server.sh

# 보안 관련 파일들 차단
Disallow: /security_*
Disallow: /*.conf$
Disallow: /*.md$

# 구글봇 특별 규칙
User-agent: Googlebot
Allow: /
Allow: /static/
Disallow: /api/
Disallow: /evaluate
Disallow: /adfit_test
Disallow: /adfit_debug

# 네이버봇 특별 규칙
User-agent: Yeti
Allow: /
Allow: /static/
Disallow: /api/
Disallow: /evaluate
Disallow: /adfit_test
Disallow: /adfit_debug

# 빙봇 특별 규칙
User-agent: bingbot
Allow: /
Allow: /static/
Disallow: /api/
Disallow: /evaluate

# 다음봇 특별 규칙
User-agent: DaumBot
Allow: /
Allow: /static/
Disallow: /api/
Disallow: /evaluate

# 크롤링 지연 설정 (서버 부하 방지)
Crawl-delay: 1

# 사이트맵 위치
Sitemap: https://val.k-memo.com/sitemap.xml