โครงสร้างและคำสั่งพื้นฐานในไฟล์ robots.txt เช่น User-agent, Disallow, Allow, Sitemap

ไฟล์ robots.txt เป็นไฟล์ที่ใช้ควบคุมการเข้าถึงและการเก็บข้อมูลของบอท (Crawler) จากเสิร์ชเอนจินต่อเว็บไซต์ โดยมีโครงสร้างและคำสั่งพื้นฐานสำคัญดังนี้

• User-agent
  ใช้ระบุชื่อบอทที่คำสั่งนั้น ๆ จะมีผล เช่น

  • User-agent: * หมายถึงบอททุกตัว
  • User-agent: Googlebot หมายถึงบอทของ Google เท่านั้น

• Disallow
  ใช้ระบุเส้นทางหรือส่วนของเว็บไซต์ที่ไม่อนุญาตให้บอทเข้าถึง เช่น

  • Disallow: /admin/ ห้ามบอทเข้าถึงโฟลเดอร์ admin
  • Disallow: / ห้ามบอทเข้าถึงทุกส่วนของเว็บไซต์ (ไม่แนะนำสำหรับเว็บไซต์ทั่วไป)
  • หากไม่มีค่าใด ๆ หลังคำสั่งนี้ หมายความว่าอนุญาตให้บอทเข้าถึงทุกส่วน

• Allow
  ใช้ระบุส่วนของเว็บไซต์ที่อนุญาตให้บอทเข้าถึงได้ แม้จะอยู่ในส่วนที่ถูก Disallow ก็ตาม เช่น

  • Allow: /public/ อนุญาตให้บอทเข้าถึงโฟลเดอร์ public
    คำสั่งนี้มักใช้ร่วมกับ Disallow เพื่อสร้างข้อยกเว้น

• Sitemap
  ใช้บอกตำแหน่งไฟล์ Sitemap ของเว็บไซต์ เพื่อช่วยให้บอทสามารถเข้าถึงและดาวน์โหลดข้อมูลโครงสร้างเว็บไซต์ได้ง่ายขึ้น เช่น

  • Sitemap: https://example.com/sitemap.xml

โดยโครงสร้างไฟล์จะประกอบด้วยกลุ่มคำสั่งที่แยกตาม User-agent เพื่อกำหนดกฎเฉพาะสำหรับบอทแต่ละตัว ตัวอย่างโครงสร้างง่าย ๆ เช่น

User-agent: *
Disallow: /private/
Allow: /private/public-info.html
Sitemap: https://example.com/sitemap.xml

ซึ่งหมายความว่า บอททุกตัวจะถูกห้ามไม่ให้เข้าถึงโฟลเดอร์ /private/ ยกเว้นไฟล์ public-info.html และบอทจะได้รับข้อมูล Sitemap เพื่อช่วยในการเก็บข้อมูลเว็บไซต์อย่างมีประสิทธิภาพ.