# 所有網站使用者代理(所有爬蟲) User-agent: * # 不允許爬取購物車相關頁面 Disallow: /*add-to-cart # 不允許爬取會員專區(會員登入頁面或已登入頁面) Disallow: /members/ # 不允許爬取 wp-admin Disallow: /wp-admin/ # 不允許爬取 wp-login.php Disallow: /wp-login.php # 允許爬取其他公共內容,例如商品頁、文章頁 Allow: /