WEBにアクセスする「人ならざるもの」たち

WEBサイトを管理していると、どのような人が、どのくらいアクセスしてくれたのか気になるでしょう。企業のWEBサイトやニュース媒体の場合、コンテンツへのアクセス動向の把握は業務上、必須です。そこで「WEBアクセス解析ツール」が導入され、アクセスの内容が分析されています。ところがここ数年、人ならざるもの……「bot」（ボット）のアクセスが急増し、アクセス解析への影響も見られるようになってきました。今回は、WEB管理者の視点からbotの動向について考えます。

インターネットやコンピュータの世界でbotという言葉は、さまざまな意味で使われますが、本稿では「WEBサイトに掲載された情報を収集するためにWWWを自動で巡回するプログラム」とします。botは、自動的にWEBサイトへアクセスする様子がロボットを連想させることから「Robot」を略して、そう呼ばれています。

WEB管理者がbotを意識するようになったのは、1990年代に登場した検索エンジンがキッカケでしょう。その後、2020年代に登場したのが、AIのためのbotです。現在のインターネットでは、AI用と思われるbotの活動が非常に活発になっています。

これらのbotは、さまざまな面で「進化」していますが、その進化はWEB管理者にとって好ましいことばかりではありません。特に、人間のアクセスとの区別がむずかしくなったことは、アクセス解析に悪影響を及ぼしています。

初期のbotは非常にシンプルで、WEBサイトに存在するHTMLファイルだけを順番に取得していくものでした。ところが、最近のbotは、まるで人間がブラウザでアクセスしているように、HTMLファイルだけでなく、WEBを構成するさまざまなファイルを読み込み、JavaScriptも実行します。最近のWEBサイトは、コンテンツを単純なHTMLだけで表現するのではなく、JavaScriptを使ってブラウザ上で組み立てることが増えており、こうしたコンテンツから情報を取得するために、botも進化してきたと考えられます。

botがJavaScriptを実行するようになったことで、JavaScriptを使ってアクセス数を計測する解析ツールが、botのアクセスを人間のアクセスとしてカウントするようになってしまいました。その結果、WEBアクセス解析ツールに不自然なアクセス増加が観測される事態が発生しています。

botのなかには、困った振る舞いをするものもあります。従来、botの世界では、自分の名前や連絡先をWEBサイトに通知する慣習がありました。WEB管理者はこれを頼りに、どんなbotが来ているかを把握したり、必要とあらばアクセスを禁止できました。しかし、最近のbotのなかには、人間が利用するブラウザと同じ名前を名乗り、積極的に身元を隠すようなものも現れています。botが使用するネットワークも一般家庭で利用されるブロードバンド回線を使い、ネットワークからも人間のように見せかけるケースも出ています。

このように人間と見分けがつきにくくなったbotですが、人間にはありえない速度・回数でアクセスするものがあり、WEBアクセス解析ツールの異常値として発見されることがあります。こうしたbotを識別して、人間のアクセスとしてカウントしない機能を持つ解析ツールもありますが、十分に機能していないのか、現状は解析ツールの結果に不可解な数字が表示されることも多いです。「人ならざるもの」との付き合い方は、WEB管理者にとって新たな悩みの種になっています。