.htaccessによるアクセス制御

Webサーバでは”.htaccess”を用いてアクセス制御を行うことができます。

“.htaccess”は ./public_html/の配下にあります。

例) 特定のhostからのみアクセス可能にする

vi .htaccess

order deny,allow
  deny from all
  allow from hostA
  allow from hostB
  allow from hostC

Googleによるクロール禁止指定

検索エンジンのクロールを制御（クロール拒否）するには、robots.txtに記載します。

cat robots.txt

User-Agent: *
Disallow: /log/