目次｜この記事の内容
クローラーとは？
クローラーとは、インターネット上にあるWebサイトや動画、画像などのあらゆる情報を集め、自動で検索のデータベースを作成する巡回プログラムのことです。
インターネット上を自動で巡回し這う（クロール）ことからクローラーと呼ばれています。
クローラーの主な役割は以下の3つで、
- インターネット上にあるWebサイトのデータベース化
- データベースに登録されたWebサイトのランク付け
- ランキング順での検索結果の表示
これらの役割を担っています。
つまり、クローラーにWebサイトが認識されることによりWebサイトがデータベース化されインデックスされるので、そこで初めて検索されたときに検索エンジンに表示されることになります。
Webサイトを構築する際には、クローラーに認識してもらいやすい、クローラビリティの高いサイトを作る必要があります。
クローリングされないほうがいいページ
基本的にクローラーに見つけてもらい、クローリングされなければ検索エンジンのデータベースに乗らないので、検索されません。
しかし、ページによってはクローリングされないほうがいいケースもあります。
質の低いページなどは、インデックスされてしまうとサイト全体の評価が下がってしまうケースがあるので、そのようなページはnoindexなどを使いクローリングを避けましょう。
【クローリングを避けたほうがいいページ】
- HTMLサイトマップページ
- 404エラーページ
- 雑多なタグページやカテゴリーページ
- 質の低いコンテンツ
クローラビリティを向上させる方法
1.XMLサイトマップをGoogleに送信する
XMLサイトマップとは、検索エンジンに対してサイト構造などを伝えるサイトマップになります。
Googleに対してXMLサイトマップを送信することにより、検索エンジンからサイト構造を把握してもらいやすくなるので、クローラビリティを向上することが出来ます。
また、サイトマップを作ることにより、確実に検索エンジンにサイト全体を認識させることが出来る為、サイトを更新した際もインデックスを促すことが出来ます。
2.Webサイト構造をシンプルにする
サイト構造をできるだけシンプルにすることで、クローラーが巡回しやすいサイト構造にしていきます。
目安としては、3クリック以内でサイト内の情報にアクセスできるようなサイトの作りにしておきましょう。
また、Google検索エンジンの特徴として、階層の浅いページほど重要なページと認識する傾向があるので、階層は深くしすぎずシンプルな構造なほうがクローラビリティは高まります。
3.グローバルメニューをテキスト表示にする
サイト上部に表示させてあるメニューなどに関しては、テキストで作成することでクローラビリティは高まります。
最近では画像認識などの精度も上がってきてますが、テキストで表示させたほうが正確に認識してくれるので、メニューを作る際はテキストで作成しましょう。
4.パンくずリストを設定する
パンくずリストとは、上位の階層ページを表示させるもので、現在のページがサイト内のどこに位置しているのかを視覚的に表したものです。
サイト構造などをわかりやすく正確に伝える効果があるため、パンくずリストを設定することにより、クローラーの巡回度を高めることが出来ます。
5.URLの正規化を行う
Webサイトを立ち上げた直後は、www.がついているURLとついていないURLの二つが存在しているケースがほとんどです。
URLの正規化とは、複数存在しているURLを一つにまとめ、評価を統一することを言います。
一つのWebサイトに対して複数のURLが存在してしまうと、それぞれのURLごとにサイトの評価が分散してしまい、本来のサイトの評価が得られないケースが出てきます。
また、それぞれのURLでインデックスされてしまったり、被リンクを受けた際も両方のURLで被リンクが発生してしまうため、SEOの効果が薄れてきてしまいます。
上位表示を狙うのであれば、サイトの評価を特定のURLに集める必要があるため、運営しているサイトのURLが正規化されているかを確認しておく必要があります。
6.クロールが不要なページを指定する
クロールが不要なページがある場合は、クロールさせない、またはクロールされてもインデックスさせないように事前に設定しておく必要があります。
質の低いページや、同じような情報が重複しているページなどはクロールされてしまうとかえってサイトの評価が下がり、SEO的にマイナスになるケースがあるので、注意が必要です。
【クローリングを避けたほうがいいページ】
- HTMLサイトマップページ
- 404エラーページ
- 雑多なタグページやカテゴリーページ
- 質の低いコンテンツ
クローラーの動きを確認する方法
クローラーが実際にサイトに来てインデックスされているかどうかは、「site:サイトURL」で検索をして確認しましょう。
検索エンジンで検索した際に、ヒットすればインデックスされています。
XMLサイトマップなどを送信してもクローリングを促すことしかできないので、実際にクローリングされているかどうかを確認する際には、「site:URL」で検索し確認しましょう。
最後に
クローラビリティを向上させることは、SEO対策を行っていくうえで重要な施策になります。
前提として、質の高いコンテンツを配信していく必要がありますが、クローラー対策も同時に行っていかなければ、検索エンジンに正確な評価をしてもらうことはできません。
クローラビリティの向上などの内部対策は、知識さえあれば自分で行っていける対策になりますので、コンテンツの作成と同時進行で行っていきましょう。
