公式テキスト著者コラム

コラムの趣旨

ネットマーケティング検定公式テキストの著者による情報コラムです。
公式テキストでは紹介しきれないインターネットマーケティングに関する最新のトピックスについて、情報や解説などをお届けします。
本試験の事例問題でも取り上げられることの多い、インターネットビジネスの最前線について、マーケティングの視点から掘り下げていきたいと思いますので、ご参考になれば幸いです。

著者プロフィール

藤井　裕之（フジイ　ヒロユキ）

　ネットマーケティング検定公式テキスト［インターネットマーケティング基礎編］著者。株式会社ワールドエンブレム代表取締役。１９９８年、早稲田大学卒業後、三菱電機株式会社入社。火力発電所プラントの海外輸出部門に所属。２００６年、独立しＩＣＴコンサルティング会社（現ワールドエンブレム株式会社）を設立。インターネットマーケティング、システム開発、Ｗｅｂ開発、セキュリティ監査、ＩＴ統制、ＩＴガバナンス等の事業を展開。会社経営の傍らロースクール夜間部を卒業（法務博士）。２０１０年、株式会社コンプライアンス・コミュニケーションズ代表取締役に就任。

第48回　Webサイトのクローリングを促すには

　検索エンジン対策は、外部サイトの被リンク獲得を目指す『外部施工』と、HTMLなどのサイトの内部に対して行う『内部施工』に分けられます。内部施工の１つに、サイトのクローリングを促すという対策があり、クローリングの仕組みを知るためには、まずクローラーについて理解する必要があります。



・クローラーとは

クローラーとは、インターネット上を巡回してWebサイトの検索順位を決める要素を収集するロボットのことです。英語の「crawl（這う）」を語源としています。自分のサイトを検索エンジンの検索結果に表示させたい場合、このクローラーに訪問してもらう必要があり、クローラーがインターネット上を巡回して情報を収集することをクローリングと呼びます。



・クローラーにはどんな種類があるのか

GoogleのGooglebot、BingのBingbot、百度（バイドゥ）のBaiduspiderなどがあります。



・検索順位が決まる仕組み

Googlebotを例にとって説明します。検索エンジンの検索順位は、主に以下の３つのプロセスを経て決定されます。

①クロール、クローリング

クローラーがインターネット上のWebページを収集・蓄積する工程です。クローラーが巡回するのは、HTMLファイルだけでなく、CSSファイル、テキストファイル、JavaScriptファイル、画像ファイル、音声ファイル、動画ファイル、PDFファイルなどが該当します。

②インデックス

クローラーが発見したWebページを検索エンジンのデータベースに登録する工程です。

③ランキング

収集してきた情報を元に、サイトの検索順位が決められ、検索結果に表示される工程です。クエリプロセスとも呼ばれます。



・クローラビリティ向上のためにするべきこと

クローラーの巡回しやすさを表す指標をクローラビリティと呼びます。いくら良いサイトを作ったとしても、クローラーに巡回してもらえないとサイトが検索上位に表示されません。クローラビリティを向上させるためには以下のような対策があります。

①XMLサイトマップを作成する

XMLサイトマップとは、サイト内にどのようなコンテンツがあるのかが記してある、サイトの設計図のようなものです。Google Serch Consoleを使ってサイトマップを送信します。

②robots.txtを設置する

robots.txtとは、サイトのURLを記載することで、クローラーの巡回を制御するためのファイルです。クローリングされるページ数が多いサイトを運営している場合は、robots.txtを設置してクローリングの効率化を図りましょう。

③パンくずリストを設置する

パンくずリストとは、Webサイト上でのユーザーの現在地を表すものです。パンくずリストを設置することでクローラーの回遊率を上げることができます。

④URLを見直す

「wwwのありなし」、「https://~とhttp://~」などURLの差異は、たとえ同じ内容のサイトだとしても、クローラーは別のサイトであると認識します。クローラーの巡回は上限があるので、無駄なクロールを防ぐためにもURLを統一しましょう。

⑤内部リンクを掲載する

クローラーは内部リンクを辿ってサイト内を巡回します。関連するコンテンツに内部リンクを掲載するなどの対策をとることによって、クローラーによるインデックス漏れを防いだり、ページ同士の関連性が高くなることによりリンク先ページの評価の向上などに繋がります。

⑥クロールの巡回申請を行う

Google Serch Console内で、該当URLに対して「インデックス登録リクエスト」を行うことで、巡回申請ができます。



・クローラーがサイト巡回をしたかどうか確認する方法

クローラーが巡回したかどうかを確認するには、Webブラウザ上で「site:自社サイトのURL」で検索するか、もしくはGoogle Serch Consoleのツール内検索で調べる方法があります。



　クローラビリティの向上はサイトの検索順位を上昇させるためにとても重要になります。そのためには、クローリングの仕組みを正しく理解し、サイトに必要な対策を見極めて実践すると良いでしょう。また、Google Serch Consoleを用いてクローラーの動向を定期的に確認し、適切にクローリングされているかをチェックすることをおすすめします。

【参考ページ】

WEB集客ラボbyGMO 『クローラーとは？意味や種類・SEOにおける重要性や対策方法をわかりやすく解説』
https://semlabo.com/seo/blog/crawler_measures/


COMIX　『SEOに大きく関係するクローラーとは？クローラビリティを向上させる方法も解説します』
https://www.comix.co.jp/blog/crawler/


CROSSWALK 『インデックスされる仕組み（クローラーの動き方など）』
https://www.crosswalk-seo.com/seo/インデックスされる仕組み（クローラーの動き方/

バックナンバー