[行銷]如何不讓搜尋機器人找到你~

網頁搜尋引擎都是利用Robot程式抓取收錄資料，有沒辦法不讓搜尋引擎找到你的網頁?方法當然是有的!
你必須在你的網站伺服器根目錄下加上一個robots.txt檔案，robots.txt檔名必須小寫，並且寫下下面資訊：
1. User-Agent:表示不接受某Robot的抓取
範例：User-Agent: *表示不接受任何Robot抓取User-Agent: SlurpSlurp是Yahoo! crawler的名稱，表示只有不接受Slurp這個Robot抓取，但接受其他Robot抓取
2. Disallow:表示在這個目錄之下的網頁不接受Robot抓取
範例：Disallow: /表示根目錄下所有的網頁都不接受抓取 Disallow: /news表示只有news這個目錄下的網頁不接受抓取
3. 範例：User-agent: *Disallow: /cyberworld/map/Disallow: /tmp/Disallow: /foo.html表示所有Robot都不能抓取“/cyberworld/map/”、“/tmp/”和“/foo.html”三個目錄下的網頁。