# LLM.TXT for pawapay.io
# Purpose: Signal AI and LLM-focused crawlers that they are allowed to crawl/index
# and use content for model training. Mirrors robots.txt-style syntax that most
# AI crawlers respect today.
# Last updated: 2025-08-22

################################################################################
# Site Canonical + Sitemaps
################################################################################
# Canonical site:
Site: https://www.pawapay.io/

# List of sitemaps to help AI crawlers discover content:
Sitemap: https://www.pawapay.io/sitemap.xml

################################################################################
# Global Policy
################################################################################
# You’ve chosen to allow both indexing and model training by AI crawlers.
# The sections below make that explicit for major AI user-agents.
# (If you ever want to restrict, change Allow: / to Disallow: / for the relevant bot.)
# NOTE: You should also mirror these rules in robots.txt for maximum compatibility.

################################################################################
# OpenAI (ChatGPT / GPT)
################################################################################
User-agent: GPTBot
Allow: /
# OpenAI’s primary crawler for model training & indexing.

User-agent: ChatGPT-User
Allow: /
# Covers fetches initiated via ChatGPT browsing/plugins or linked tools.

User-agent: OAI-SearchBot
Allow: /
# Used by OpenAI for search experiences (e.g., SearchGPT experiments).

################################################################################
# Anthropic (Claude)
################################################################################
User-agent: ClaudeBot
Allow: /
# Anthropic’s crawler for Claude.

User-agent: Claude-Web
Allow: /
# Additional Anthropic web fetches for evaluation/search.

################################################################################
# Perplexity
################################################################################
User-agent: PerplexityBot
Allow: /
# Perplexity’s crawler for indexing and training.

################################################################################
# Google (Gemini / Search / AI add-ons)
################################################################################
User-agent: Googlebot
Allow: /
# Standard Google crawling (helps Gemini via Search indexing signals).

User-agent: GoogleOther
Allow: /
# Google’s non-Search crawls often used for research/AI-related fetching.

User-agent: Google-Extended
Allow: /
# Google’s AI training opt-in/out signal. Allowing indicates consent for AI training.

################################################################################
# Apple
################################################################################
User-agent: Applebot
Allow: /
# Apple’s web crawler (used for Siri/Spotlight and could inform AI features).

User-agent: Applebot-Extended
Allow: /
# Apple’s AI model training extension. Allowing indicates consent for AI training.

################################################################################
# Amazon
################################################################################
User-agent: Amazonbot
Allow: /
# Amazon’s general crawler.

User-agent: Amazonbot-Extended
Allow: /
# Amazon’s AI/LLM training extension. Allowing indicates consent for AI training.

################################################################################
# Meta (Facebook / Instagram AI)
################################################################################
User-agent: Meta-Extended
Allow: /
# Meta’s opt-out/opt-in for AI training. Allowing indicates consent.
# (Some implementations have also referenced "Meta-External"—we allow that too:)
User-agent: Meta-External
Allow: /

################################################################################
# Common Crawl (used by many AI labs)
################################################################################
User-agent: CCBot
Allow: /
# Common Crawl data is widely used in LLM training pipelines.

################################################################################
# ByteDance
################################################################################
User-agent: Bytespider
Allow: /
# ByteDance/TikTok crawler; sometimes used in AI data collection contexts.

################################################################################
# Catch-All Allow
################################################################################
User-agent: *
Allow: /
# Default allow for any AI crawler not explicitly listed above.

################################################################################
# Optional Notes
################################################################################
# - No restricted paths were specified; everything is open to AI crawlers.
# - If you add structured data feeds later (JSON/CSV/Markdown), list them here
#   as "Data: https://www.pawapay.io/path/to/feed.json" for easy discovery.
# - For maximum compliance, mirror these rules in robots.txt and keep both files
#   (robots.txt and llm.txt) in sync.