วิธีการสร้างและอัปโหลดไฟล์ robots.txt บนเว็บไซต์

วิธีการสร้างและอัปโหลดไฟล์ robots.txt บนเว็บไซต์ มีขั้นตอนหลัก ๆ ดังนี้

1. สร้างไฟล์ robots.txt

   • ใช้โปรแกรมแก้ไขข้อความธรรมดา เช่น Notepad (Windows), TextEdit (Mac) หรือโปรแกรมแก้ไขข้อความอื่น ๆ ที่ไม่ใช่โปรแกรมประมวลผลคำ (Word) เพราะอาจบันทึกไฟล์ในรูปแบบที่ไม่ถูกต้อง
   • ตั้งชื่อไฟล์ว่า robots.txt เท่านั้น
   • เขียนกฎในไฟล์ เช่น กำหนดว่า Bot ตัวไหนสามารถเข้าถึงส่วนใดของเว็บไซต์ได้บ้าง ตัวอย่างเช่น

     User-agent: *
     Disallow: /private/
     

   • บันทึกไฟล์ด้วยการเข้ารหัส UTF-8

2. อัปโหลดไฟล์ robots.txt ไปยังเว็บไซต์

   • เข้าสู่ระบบจัดการ Hosting หรือ Control Panel ของเว็บไซต์
   • ไปที่เมนู File Manager
   • เข้าไปยังโฟลเดอร์รากของเว็บไซต์ (เช่น /public_html/)
   • อัปโหลดไฟล์ robots.txt ที่สร้างขึ้นไปไว้ที่โฟลเดอร์นี้โดยตรง (ไฟล์ต้องอยู่ที่รากเว็บไซต์เท่านั้น)
   • หากไม่มีไฟล์ robots.txt อยู่แล้ว ให้สร้างไฟล์ใหม่ชื่อ robots.txt ในโฟลเดอร์รากนี้ แล้วแก้ไขเนื้อหาไฟล์ตามต้องการ

3. วิธีสร้างไฟล์ robots.txt ด้วยปลั๊กอิน (สำหรับ WordPress)

   • ติดตั้งและเปิดใช้งานปลั๊กอิน SEO เช่น All In One SEO หรือ Yoast SEO
   • เข้าเมนูปลั๊กอิน เลือก Tools หรือ File Editor
   • เปิดใช้งานการแก้ไขไฟล์ robots.txt (Enable Custom Robots.txt)
   • เขียนกฎในช่องที่กำหนด แล้วบันทึกการเปลี่ยนแปลง

4. ทดสอบไฟล์ robots.txt

   • หลังจากอัปโหลดไฟล์แล้ว ควรทดสอบว่าไฟล์สามารถเข้าถึงได้และไม่มีข้อผิดพลาด
   • ใช้เครื่องมือทดสอบ robots.txt ของ Google Search Console หรือเปิด URL https://yourdomain.com/robots.txt เพื่อดูว่าไฟล์แสดงผลถูกต้องหรือไม่

สรุปข้อควรจำ

• ไฟล์ต้องชื่อ robots.txt เท่านั้น
• ต้องอัปโหลดไว้ที่โฟลเดอร์รากของเว็บไซต์
• ใช้โปรแกรมแก้ไขข้อความธรรมดาในการสร้างไฟล์
• สำหรับ WordPress สามารถใช้ปลั๊กอิน SEO ช่วยสร้างและแก้ไขไฟล์ได้สะดวก
• ทดสอบไฟล์หลังอัปโหลดเพื่อให้แน่ใจว่า Bot สามารถอ่านไฟล์ได้ถูกต้อง