SEOにおけるクローリングは、インターネット上にあるWebページを、Googleなどの検索エンジンが見に来ることを指します。
検索エンジンは「クローラー」と呼ばれるロボットのようなプログラムを使って、Webページを読み込みます。
このクローラーは、ウェブサイトを見て新しいページや更新された内容がないかを調べ、その情報を集めて検索結果に表示できるように(これをインデックスするという言う)しています。
クローラーがしっかりとページを見に来てくれれば、Webページが検索結果に出てくるチャンスが増えます。
クローリングされていないページがクロールされるようにする方法
新しくドメインを取得して、そのドメインを誰にも宣伝しない状況であれば、そのWebページはなかなかクロールされません。
なぜならクローラーもそのWebサイトの存在を知りえないからです。
何かの拍子に、いつかクロールされる可能性はありますが、かなり長期間待つことになります。
そこで、クローリングされていないページはどのようにすればクロールされるようになるか解説します。
サイトマップを送る
「サイトマップ」とは、Webサイトのページ一覧表のようなもので、検索エンジンにどのページを見に来てほしいかを教えるものです。
これをGoogleに送ると、クローラーがページを見つけやすくなります。
なお、Webサイトにおける「サイトマップ」はxmlのサイトマップとhtmlのサイトマップの2種類があります。
ここでいうサイトマップはxmlサイトマップのことを一応示しています。
が、現在のクローラーの技術であればhtmlのサイトマップがインデックスされれば、クローラーはそこから全てのページに辿っていけるので、多くの場合あまり大差はありません。
内部リンクを増やす
他のページからリンクを貼ることで、そのページへの道を作ります。
クローラーはリンクをたどってページを見に行くので、リンクが多いと見つけやすくなります。
外部サイトからリンクをもらう
他のウェブサイトが自分のページにリンクを貼ってくれると、クローラーがそのリンクをたどってやってきます。
これを「被リンク」と言います。
Google Search ConsoleにURLを登録する
Google Search Console(グーグル サーチコンソール)という無料のツールを使って、クローラーに「このページを見に来て！」とリクエストを送ることができます。
上記のような方法を使うと、クローリングされていないページも検索エンジンに見つけてもらいやすくなります。
クロールされてもインデックスされない理由とは？
Webページはクロールされても必ずしもインデックスされるわけではありません。
インデックスされない理由はいくつかあるので、以下に解説しますね。
ページの内容が薄い
クローラーがページを見に来ても、そのページの内容が少なすぎたり、価値がないと判断されると、インデックスに入れられません。
例えば、ほとんどが同じ内容のページや、情報がほとんどないページが該当します。
クローラーのアクセス制限
Webサイトの設定で、検索エンジンに「このページは見に来ないで」と指示している場合があります。
これは「robots.txt」というファイルや、「noindex」というタグを使って行います。
技術的な問題
サイトの構造に問題があると、クローラーがページを正しく理解できないことがあります。
例えば、JavaScriptを使いすぎていたり、リンクが壊れていたりすると、クローラーがページを正確に読み取れず、インデックスされないことがあります。
品質が低いと判断される
ページの読み込みが遅かったり、ユーザーがすぐにページを離れてしまうような場合、検索エンジンはそのページがあまり役に立たないと判断して、インデックスに入れないことがあります。
まとめ
今回はSEOにおけるクローリングについて解説しました。
クローリングとインデックスは、SEOにおいて非常に重要なステップです。
クローラーがサイトを訪れないと、検索エンジンに表示されるチャンスはありませんが、クローリングされたとしても、必ずしもインデックスされるわけではありません。
ページの内容が価値あるものであり、適切な設定がされていることが重要です。
サイトマップや内部リンクの工夫、外部リンクの獲得など、クローリングされやすくするための対策をしっかり行いましょう。
これにより、検索エンジンに認識され、結果としてサイトのアクセス向上につながります。
コメント