robot.txt นั้นคืออะไร

เป็นไฟล์ที่ไว้บอก Robot ของ Search Engine ต่างๆว่าไฟล์นี้อนุญาติให้เข้าไปเก็บข้อมูลหรือไม่ (ไม่อยากให้เผยแพร่นั่นเอง) เช่นพวก หน้า admin หรือ ไฟล์ที่สำคัญๆต่างๆ โดยจะเป็นความปลอดภัยเบื้องต้นเท่านั้น

วิธีก็คือเราสร้างไฟล์ที่ชื่อว่า Robot.txt วางไว้ที่ Root ของแต่ละ Directory ที่ต้องการกำหนดการเข้าถึง เข้าถึงไฟล์ หรือ Folder ไหนได้บ้าง โดยวิธีการกำหนดมีดังนี้

# robots.txt for http://www.example.com/

User-agent: *

Disallow: /directoryname/

Disallow: /filename.html

• User-Agent : ชื่อของ Robot ที่ต้องการ ณที่นี้คือ ทุกตัว *
• Disallow: หมายถึง ไม่อนุญาติให้ bot เข้าไปอ่านข้อมูล

ถ้าอยากดูตัวอย่างรูปแบบอื่นไปที่นี่เลย http://www.robotstxt.org/orig.html