クローラロボットの挙動の制御 meta要素
■meta要素(メタ要素)を使ったクローラロボットの制御
「meta要素(メタ要素)」を使う事によってクローラロボットのインデックス付け・フォロー(リンクを辿る事)・キャッシュ作成と言った挙動をページ単位で制御する事が「期待」出来ます。
クローラロボットのインデックス付け・フォロー・キャッシュ作成の制御を期待するための書式は以下のようになります。記述箇所は<head>～</head>の間です。HTMLドキュメント毎に記述を行う必要があります。
<head>
......
<meta name="ロボット名" content="値" />
......
</head>
「ロボット名」の箇所には制御を期待するクローラロボットの名前を記述します。全てのロボットを指定する場合は「robots」とります。「値」にはインデックス付けの許否、フォロー(リンクを辿る事)の許否、キャッシュ作成の許否を指定する値を記述します。「値」はカンマで区切って複数の指定が可能です。以下は「値の種類」と記述の一例です。
- インデックスの許可 : index
- インデックスの拒否 : noindex
- フォローの許可 : follow
- フォローの拒否 : nofollow
- キャッシュの許可 : archive
- キャッシュの拒否 : noarchive
<meta name="robots" content="index" /> A
<meta name="robots" content="follow" /> B
<meta name="robots" content="index,follow" /> C
<meta name="robots" content="index,nofollow" /> D
<meta name="robots" content="noindex,follow" /> E
<meta name="robots" content="noindex,nofollow" /> F
<meta name="robots" content="noindex,nofollow,noarchive" /> G
Aは全てのロボットクローラに対してインデックスを許可。
Bは全てのロボットクローラに対してフォローを許可。
Cは全てのロボットクローラに対してインデックス、フォローを許可。
Dは全てのロボットクローラに対してインデックスを許可、フォローを拒否。
Eは全てのロボットクローラに対してインデックスを拒否、フォローを許可。
Fは全てのロボットクローラに対してインデックス、フォローを拒否。
Gは全てのロボットクローラに対してインデックス、フォロー、キャッシュを拒否。
何も指定しない場合、インデックス、フォロー、キャッシュは「許可」と見做されます。そのため「許可」の指定については記述する必要はありません。上記では「許可」に関しても扱いましたが、実際には「拒否」を期待するものについてのみの指定で構いません。