AIクローラーを実測で観測するラボ・観測者。 GPTBot・ClaudeBot・Perplexityがサイトに何をしてるか、こっそり暴いてます。 サーバーログとNeon DBで実測データだけを書くブログ運営中。 Site: https://ai-kansoku.com/ Blog: https://www.blog.ai-kansoku.com/https://bsky.app/profile/ai-kansoku.comhttps://bsky.app/profile/ai-kansoku.com/post/3mlclgzugy22tロシアの検索エンジンYandexのクローラー「YandexBot」を実測しました。 毎朝ほぼ同じ時刻に「robots.txt → 記事1本」の2ステップ定点巡回を繰り返す。ところがある日だけ挙動が一変——通常2〜3件の巡回が72件まで急増し、サイトマップ全種類とタグページを一気に並列取得。 4つのIPレンジが同時に動くこの大規模クロール、なぜ起きたのかも3つの仮説で考察しています。 www.blog.ai-kansoku.com/yandexbot/ https://www.blog.ai-kansoku.com/yandexbot/08 May 2026 01:31 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mlclgzugy22thttps://bsky.app/profile/ai-kansoku.com/post/3mkjhjklpjk2q【新クローラー発見】AI実験室 #18を公開しました。 サーバーログに見慣れないUser-Agentが現れました。 AI-Observatory/1.0 世界中のクローラーリストを調べても記載ゼロ。正体不明のまま実測データを分析しました。 📊 実測データ ・5IP×6リクエスト＝30件（完全一致） ・記事ページへのアクセス：ゼロ ・llms.txtは全IPが確認 ・約2秒で巡回完了 👇 詳細はこちら https://blog.ai-kansoku.com/ai-observatory/ #AIクローラー #サーバーログ #AI観測ラボ28 Apr 2026 01:44 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mkjhjklpjk2qhttps://bsky.app/profile/ai-kansoku.com/post/3mkhopq3oqs24「タグはnoindexにするのが正解」 そう設定した直後、GPTBotがAI観測ラボに来なくなりました。 サーバーログを確認すると、タイミングが一致していました。 SEOでは正しい設定が、AIクローラーには入口を閉じる結果になっていた可能性があります。 実測ログをもとに整理しました。 ▼ タグをnoindexにしたらGPTBotの巡回が止まった｜Yoast SEO設定の落とし穴 https://blog.ai-kansoku.com/yoast-seo-category-tag-ai-crawler/ #GPTBot #AIクローラー #YoastSEO27 Apr 2026 08:47 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mkhopq3oqs24https://bsky.app/profile/ai-kansoku.com/post/3mk7tyibcxs2vGPTBotの扱い、まだ迷ってる人多そう。 実測ログベースで ・来てるのか ・何してるのか ・許可すべきか 整理しました👇 www.blog.ai-kansoku.com/gptbot/ #GPTBot #AIクローラー https://www.blog.ai-kansoku.com/gptbot/24 Apr 2026 06:00 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mk7tyibcxs2vhttps://bsky.app/profile/ai-kansoku.com/post/3mk2mso37fs2s「SiriやSpotlightって、どうやって情報集めてるの？」 答えはApplebot。 Googleで言うGooglebotのApple版です。 ただしApplebotには「通常版」と「Applebot-Extended」があり、役割はまったく別。 129件のログから動きを整理しました👇 www.blog.ai-kansoku.com/applebot/ #AIクローラー #Applebot #Siri https://www.blog.ai-kansoku.com/applebot/22 Apr 2026 04:09 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mk2mso37fs2shttps://bsky.app/profile/ai-kansoku.com/post/3mk2fmomaok2v最近サーバーログ見てて違和感ある Appleのbotが明らかに増えてる これ、ただのクロールじゃない気がする AppleのAI、もう始まってるかもしれない https://note.com/fuk_moto/n/nb719aa7e6168 #AI #Apple #AIクローラー #Siri #テクノロジー22 Apr 2026 02:00 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mk2fmomaok2vhttps://bsky.app/profile/ai-kansoku.com/post/3mjyf45bxz22lAIは「学習するもの」だと思っていたけど、 ログを見ると違う動きをしていた。 ユーザーがChatGPTに質問するたび、 その場でページを取りに来ている。 つまりAIボットは3種類いる。 ・学習用（知識更新） ・検索用（インデックス） ・人間由来フェッチ（リアルタイム取得） この構造、サーバーログを見ないと見えない。 #Web運用 #AIクローラー https://blog.ai-kansoku.com/ai-crawler-three-types/21 Apr 2026 06:45 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mjyf45bxz22lhttps://bsky.app/profile/ai-kansoku.com/post/3mjw3uwewws2lWebMCPって知ってますか？ AIがブラウザを操作して 予約・購入・入力まで全部やる世界の話 でも2026年4月時点では サーバーログ上で関連アクセスは0件 つまり「まだ来てない」 だからこそ今のうちに 何が変わるのか整理しておきました。 ↓ www.blog.ai-kansoku.com/webmcp/ https://www.blog.ai-kansoku.com/webmcp/20 Apr 2026 08:55 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mjw3uwewws2lhttps://bsky.app/profile/ai-kansoku.com/post/3mjnmwhwcok2f公開1週間でWordPressがハッキングされた話をNoteに書きました。 バックドア9個、IPアドレスまで特定。 なんとかこうにか自力で復旧できました💪 侵入経路・バックドア削除・再感染防止まで全部まとめました。 https://note.com/fuk_moto/n/n85539ab2264a17 Apr 2026 00:06 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mjnmwhwcok2fhttps://bsky.app/profile/ai-kansoku.com/post/3mjgotlg3322yGAには映らないAIクローラーの訪問、見えてますか？ ①URLを入力するだけでAI可視性スコアを診断 ②トラッキングコードを設置 ③GPTBotやClaudeBotがいつどのページを訪問したかを確認できます。 GPTBotやClaudeBotが毎日来ていても、GA4のレポートにはゼロ。 AIクローラーの訪問を可視化したくてツールを作りました。 ぜひお試しあれ。 👉 https://blog.ai-kansoku.com/ai-kansoku-tool/14 Apr 2026 05:52 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mjgotlg3322yhttps://bsky.app/profile/ai-kansoku.com/post/3mjdz6xbeus2kサーバーログに見慣れない文字列が残っていました。 facebookexternalhit/1.1 Facebookに投稿していないのになぜ？ 調べると、Xに記事をシェアするたびに MetaのクローラーがOGPを取得しに来ていました。 7日間92件の実測データで挙動を解説しています。 https://www.blog.ai-kansoku.com/facebookexternalhit/ #AIクローラー #OGP #サーバーログ #facebookexternalhit13 Apr 2026 04:19 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mjdz6xbeus2khttps://bsky.app/profile/ai-kansoku.com/post/3mizzdgpnac2qChatGPT AgentにGA4見せたら、ai_agent_visitが4回届いた。 visitor_type: human UA: Chrome/144 IP: Cloudflare東京 識別不可能です。 実測データまとめました https://www.blog.ai-kansoku.com/chatgpt-agent-ga4-stealth/09 Apr 2026 04:55 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mizzdgpnac2qhttps://bsky.app/profile/ai-kansoku.com/post/3mixrgutja22aClaude広範囲で Partial Outage（あかんやつ） claude / platform / API全部影響あり この出方は推論基盤側の問題っぽい 一時的に不安定なだけじゃなく ちゃんと障害出てるやつ #Claude #Anthropic #AI障害 #AI不具合 #生成AI #AI開発 #LLM08 Apr 2026 07:28 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mixrgutja22ahttps://bsky.app/profile/ai-kansoku.com/post/3miv2pm236c2w「結局、何作ればいいの？」 AIでコード書ける時代になって 一番よく聞かれる質問。 自分の答えはシンプルで 普段使ってるツールを作るです。 0から悩むより 1→1.2を作る方が圧倒的に進む。 実際に自分は画像最適化ツールを作りました。 これまでの背景を書きました👇 https://note.com/fuk_moto/n/n46de264b850707 Apr 2026 05:36 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3miv2pm236c2whttps://bsky.app/profile/ai-kansoku.com/post/3misphx3a7c2b【AI観測ログ】 iOS 27でSiriが対話型AIに変わる 昨日のAI実験室#10でApplebotだけが CSS・JSまで取得することを確認しました SiriがAIになるとき 回答を支えるのがApplebotのクロールです 知っておきたい3点 ・Siri刷新の基盤はGemini（WWDC 2026・6月8日〜） ・Applebot-Extendedの拒否率はまだ6% ・robots.txtで学習利用だけ断てる 👇詳しくはブログで https://blog.ai-kansoku.com/siri-ios27-applebot-future/ #Applebot #iOS27 #Siri #AIクローラー06 Apr 2026 07:10 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3misphx3a7c2bhttps://bsky.app/profile/ai-kansoku.com/post/3misas7pd7c2kAIクローラーは4社で挙動が違う？ サーバーログで4社比較 ・ClaudeBot：robots.txtを47回確認 ・GPTBot：関連ページを深掘り＋画像も取得 ・OAI-SearchBot：未公開記事の画像をすでに取得 ・PerplexityBot：広く浅く均等クロール 👇 https://www.blog.ai-kansoku.com/ai-crawler-pattern-comparison/06 Apr 2026 02:47 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3misas7pd7c2khttps://bsky.app/profile/ai-kansoku.com/post/3mipynghxd22wAIはHTMLよりMarkdownを好みます。 でも全部md化はSEOリスクがある。現実的な一歩は「HTMLはそのままに、mdファイルをサーバーに追加で置く」です。 index.md・about.md・faq.mdの3つをXserver・さくら・ロリポップに置く手順をまとめました。 👇記事はこ��ら https://www.blog.ai-kansoku.com/markdown-ai-server/ https://markdown.ai-kansoku.com05 Apr 2026 05:16 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mipynghxd22whttps://bsky.app/profile/ai-kansoku.com/post/3mildnrx5422uGPTBotを抜いてAIクローラーシェア 世界第2位なのにブロック率3.26%。 Meta-ExternalAgentの存在 知ってましたか？ facebookexternalhitとは別物で LlamaモデルのAI学習専用クローラーです。 サーバーログに来てたので実測データで正体まとめました。 blog.ai-kansoku.com/meta-externalagent/ https://blog.ai-kansoku.com/meta-externalagent/03 Apr 2026 08:50 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3mildnrx5422uhttps://bsky.app/profile/ai-kansoku.com/post/3migdyljrvk2pAIに引用されるサイトとされないサイト 何が違うのか。 ChatGPTやClaudeが回答を生成する際 どのサイトを参照するかには明確な理由がある。 robots.txt、構造化データ、llms.txt… GA4には映らないAIクローラーの動きを可視化するツール作ってます。 まず現状確認↓ www.ai-kansoku.com #AIクローラー #GEO #生成AI https://www.ai-kansoku.com/01 Apr 2026 09:12 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3migdyljrvk2phttps://bsky.app/profile/ai-kansoku.com/post/3midbvgsadk2lLCP 7.6秒のサイト。 Noto Sans JPをGoogle Fontsから外す 1行変更だけで2.7秒になった。 PageSpeedスコアも59→96に。 日本語フォントが30個以上のwoff2ファイルを 読み込んでたのが原因やった。 AIクローラーのクロール数が改善前後でどう変わるか 数日後にサーバーログで実測します。 #GEO #AIクローラー31 Mar 2026 03:57 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3midbvgsadk2lhttps://bsky.app/profile/ai-kansoku.com/post/3ksihak3lml2fおはようございます、気温が最適なのでアルバム欲しい欲。本日も1日リッスンして参りましょう！15 May 2024 00:35 +0000at://did:plc:7choabnbx32frmrqqv7z4ejz/app.bsky.feed.post/3ksihak3lml2f