春は花粉が舞う季節 ツラ~イ花粉症は体質改善で治せるって知ってます?

robots指定でクローリング最適化をする!ホワイトハットSEO内部対策テクニック!

    

タグ:  

中古ドメインや被リンクで検索上位を狙うブラックハットSEOとは違い、コンテンツ重視や内部対策で上位表示を狙うホワイトハットSEO。ホワイトハットSEOの中でも重要なことがクローラー最適化です。

ユーザービリティ(UX)を重視すると共に、検索エンジンロボットに対しても快適にクローリング出来るよう配慮することが求められています。

そこで今回は「robots」を使ったクローラー最適化についてご紹介します。

サイト全体やディレクトリ全体

下記のみを記述したrobots.txtというテキストファイルを、クローリングさせたくない階層にアップする。

ページ単位

index
このページは検索データベースへの登録を許可します。インデックスさせます。

noindex
このページは検索データベースへの登録を禁止します。インデックスさせません。

follow
クローラーがこのページに含まれるリンクをたぐることを許可します。

nofollow
クローラーがこのページに含まれるリンクをたぐることを禁止します。

noarchive
ページの検索データーベースにキャッシュを残さない。ECサイトや会員サイトなどに使われる。

まとめ

metaでのクローラー制御は、headのなるべく上位で宣言する。

noindexはコンテンツが少なく、インデックスさせる必要がないページ。つまりお問い合わせページやサンクスページなどに使用する。

また、サイトマップページやリンクページなどは、クローラーからするとリンクばかりのスパムページとみられる事もある。この場合は、noindexにしてインデックスせず、followでページランクはしっかり配分させる。

この記事にいいね!

こんな記事も読まれています

この記事へのコメント

メールアドレスが公開されることはありません。

no image
gotop