ตัวอย่างการตั้งค่า robots.txt สำหรับสถานการณ์ต่าง ๆ มีดังนี้ ซึ่งช่วยควบคุมการเข้าถึงของบอท Search Engine เพื่อจัดการ SEO และความปลอดภัยของเว็บไซต์ได้อย่างเหมาะสม:
| สถานการณ์ | ตัวอย่างคำสั่งใน robots.txt | คำอธิบาย |
|---|---|---|
| ไม่อนุญาตให้บอทใด ๆ เข้าถึงเว็บไซต์ทั้งหมด | ``` | |
| User-agent: * | ||
| Disallow: / | ||
| ``` | บล็อกบอททุกตัวไม่ให้เก็บข้อมูลเว็บไซต์เลย เหมาะกับเว็บที่ยังไม่พร้อมเผยแพร่หรือป้องกันข้อมูลทั้งหมด | |
| อนุญาตให้บอททุกตัวเข้าถึงเว็บไซต์ทั้งหมด | ``` | |
| User-agent: * | ||
| Allow: / | ||
| ``` | เปิดให้บอททุกตัวเก็บข้อมูลเว็บไซต์ได้เต็มที่ เหมาะกับเว็บที่ต้องการให้ค้นหาเจอทุกหน้า | |
| บล็อกบอทเฉพาะบางตัวไม่ให้เข้าถึงโฟลเดอร์หรือไฟล์เฉพาะ | ``` | |
| User-agent: Googlebot | ||
| Disallow: /private/ | ||
| ``` | บล็อก Googlebot ไม่ให้เข้าถึงโฟลเดอร์ /private/ แต่บอทอื่นเข้าถึงได้ตามปกติ | |
| บล็อกหลายโฟลเดอร์หรือหลายหน้าในครั้งเดียว | ``` | |
| User-agent: * | ||
| Disallow: /calendar/ | ||
| Disallow: /junk/ | ||
| Disallow: /books/fiction/contemporary/ | ||
| ``` | บล็อกบอททุกตัวไม่ให้เก็บข้อมูลในหลายโฟลเดอร์หรือเส้นทางที่ระบุ | |
| บล็อกรูปภาพบางไฟล์ไม่ให้แสดงใน Google Image | ``` | |
| User-agent: Googlebot-Image | ||
| Disallow: /images/dogs.jpg | ||
| ``` | ป้องกัน Googlebot-Image ไม่ให้เก็บรูปภาพชื่อ dogs.jpg | |
| บล็อกไฟล์ที่มีนามสกุลหรือ pattern เจาะจง | ``` | |
| User-agent: Googlebot | ||
| Disallow: /*.xls$ | ||
| ``` | บล็อก Googlebot ไม่ให้เก็บไฟล์ที่ลงท้ายด้วย .xls (ไฟล์ Excel) | |
| อนุญาตให้บอทบางตัวเท่านั้นเข้าถึงเว็บไซต์ | ``` | |
| User-agent: Googlebot | ||
| Allow: / | ||
| User-agent: msnbot | ||
| Allow: / | ||
| User-agent: * | ||
| Disallow: / | ||
| ``` | อนุญาตให้ Googlebot และ msnbot เข้าถึงได้ทั้งหมด แต่บล็อกบอทอื่น ๆ |
คำแนะนำเพิ่มเติม
- ไฟล์ robots.txt ต้องตั้งชื่อว่า "robots.txt" และวางไว้ที่ root directory ของเว็บไซต์ เช่น example.com/robots.txt
- คำสั่ง
User-agentระบุชื่อบอทหรือใช้ * เพื่อหมายถึงทุกบอท - คำสั่ง
Disallowระบุ path ที่ไม่อนุญาตให้บอทเข้าถึง - คำสั่ง
Allowระบุ path ที่อนุญาตให้บอทเข้าถึง (ใช้ในกรณีที่ต้องการอนุญาตบางส่วนใน path ที่ถูก Disallow ไว้)
การตั้งค่า robots.txt อย่างเหมาะสมช่วยเพิ่มประสิทธิภาพ SEO และป้องกันข้อมูลสำคัญไม่ให้ถูกเก็บโดยบอทที่ไม่ต้องการ
TH Ranking ให้บริการทราฟฟิกเว็บไซต์คุณภาพสูงที่สุดในประเทศไทย เรามีบริการทราฟฟิกหลากหลายรูปแบบสำหรับลูกค้า ไม่ว่าจะเป็น ทราฟฟิกเว็บไซต์, ทราฟฟิกจากเดสก์ท็อป, ทราฟฟิกจากมือถือ, ทราฟฟิกจาก Google, ทราฟฟิกจากการค้นหา, ทราฟฟิกจาก eCommerce, ทราฟฟิกจาก YouTube และทราฟฟิกจาก TikTok เว็บไซต์ของเรามีอัตราความพึงพอใจของลูกค้า 100% คุณจึงสามารถสั่งซื้อทราฟฟิก SEO จำนวนมากทางออนไลน์ได้อย่างมั่นใจ เพียง 398 บาทต่อเดือน คุณสามารถเพิ่มทราฟฟิกเว็บไซต์ ปรับปรุงประสิทธิภาพ SEO และเพิ่มยอดขายได้ทันที!
เลือกแพ็กเกจทราฟฟิกไม่ถูกใช่ไหม? ติดต่อเราได้เลย ทีมงานของเราพร้อมให้ความช่วยเหลือ
ปรึกษาฟรี