去る2019年10月に、完全に思い付きで独自ドメインに移行したわけよ。
もう長いことデフォのはてなブログURLで運営していたから今更感満載なんだけど、
最近Google様の立て続けのアルゴリズム変更でアクセス減してるし、独自ドメイン変更のデメリットなんて無視できるんじゃね？っていうノリで。
んでんで、タイミングよく10月にリリースされたサーチコンソールの新ツール「アドレス変更」を試してみることに。
そしたら、「1 件以上の必須のテストに失敗しました。リクエストを続行できません」っていう問題発生ｗｗ
なんでやねん！！ってことで、今回は試行錯誤してる中で、その解決方法の糸口が見つかった気がするのでメモ。
余計な前提なんていらん！早く結論を教えろ！っていうせっかちな人は、目次から「クローラーが来やすくしたらいいじゃない」の項にジャンプ！
そもそもどんなエラー？
一応アドレス変更ツールを使うまでの流れとしては、GSCにログインして旧ドメインと新ドメインそれぞれの所有権を確認した状態にしとくわけよ。
この際のやり方は各自問題無くクリアできる部分だと思う。
そして旧ドメインの「設定」から「アドレス変更」を選ぶ。そしてヘルプによれば、事前に301リダイレクトを設定しておく必要がある。
まぁこれもはてなブログだったら、独自ドメインにしたときに自動ではてなサーバ側がやってくれることなので問題無し。
ってことで次に「Google の情報を更新」画面内のプルダウンから、移行した新ドメインを選択して「検証して更新」をポチっとな。
するとGoogleの「クイック検証を実施」が行われるわけだが、、、
「ホームページからの301リダイレクト」の部分が「確認エラー」！
「ページを取得できませんでした」ってことで、要は旧ドメインにアクセスできないって表示が。なんでやねんｗｗ
※なお、本当にリダイレクトだけの問題だとすると「リダイレクトが見つかりませんでした」というメッセージが表示される。
Googleさんはサイトが見えていないのか？
いやこれ、Googleアドセンスの審査申請の時にはてな界隈で発生しがちな「サイトの停止または利用不可」と似たような状況だよね？
サチコ上はサイトの所有権も確認出来て(確認コードをGoogleボットが読み取れて)、サイトマップも読み込めて、URL検査してもきちんとクローラーがページをインデックスしてるのに、、なのにサイトが読み取れないってわけよ。
例えば旧ドメインをURL検査すると、ユーザーが指定した正規 URLも、Google が選択した正規 URLもきちんと新ドメインになってるわけ。
※まぁリダイレクトだけに限らずcanonicalタグも自動設置されてるしねぇ。
「公開URLをテスト」してももちろんアクセス可能でPCクローラーは訪問おｋ。
次に念のため、「モバイルフレンドリーテスト」でも旧ドメインおよび新ドメインのトップページをテストしてみる。
すると、まぁ当然「このページはモバイルフレンドリーです」の表示でスマホクローラーも訪問おｋ。
謎は深まる。。
っていうか実は一回成功していた
ちなみに話。私はドメイン移行して「最初に」この新アドレス変更ツールを使った時、実は問題無く簡易チェック突破出来たわけよ。
んでその時って、新ドメインを「プロパティを追加」するときに、「URLプレフィックス」じゃなくて、「ドメイン」として追加していたわけ。
つまりサブドメインのwww.yotsumao.orgだけじゃなく、ネイキッドドメインのyotsumao.org含めた全体を追加していた状態。
※ちなみに以前、はてな上で常時SSL設定をしたときに、旧版ウェブマスターツールのアドレス変更でhttpからhttpsへのリダイレクトは既に設定されていた。
そして旧ドメインのyotsumao.hatenablog.comからyotsumao.orgに向けて、アドレス変更を使ったわけよ。
もちろんネイキッドドメインがあるレンタルサーバ上のhtaccessファイルでwww付きのサブドメインに301リダイレクトするように仕込んであったから、クイック検証に無事通って設定できたんだけど。
その後、なんかwwwだけに向けたいアドレス変更がドメイン全体になっちゃうのが気持ち悪いなーと思ったり、
しかもURLプレフィックスじゃなくてドメインで追加したプロパティってアナリティクスの紐づけできないのよ。
ってことで移行をキャンセル、プロパティ削除＆追加しなおし、そしてもう一度URLプレフィックスのプロパティへアドレス変更ツール使ったら、先述のエラーが発生した次第。
もちろんすぐにドメインプロパティも設定し直して再チャレンジしたわけだけど、なぜかエラーが発生する始末。
謎い。。
はてなブログ固有の話？
少なくとも一度は成功した(Googleがページ取得できていた)のに、同じ条件下でエラーになるっていうのは、はてながGoogleボットを弾いてるんじゃないか？っていう疑惑。
でもその可能性だと不可解なのは、じゃあなぜ所有権のコードは読み取れるのか？っていう。
すると、もちろんGoogleのツールの特定の条件下における固有のバグの可能性もあり得るわけで。。
というわけでヘルプフォーラムへ
困った時のコミュニティ。グーグル公式のヘルプフォーラムで同様の事象を探してみることに。
すると、同じく「はてなブログ」環境でまさしくエラーが発生している人を発見！しかも何人も。
さらにさらに英語版に切り替えて検索してみると、やはり「Couldn't fetch the page」というメッセージで同様の問題が発生している様子。
※そこではDNSフラッシュすりゃいいんじゃね？話も出ていて、それで解決した人もいたようだが、私はエラーが変わらなかった。
もし試すなら→ Flush Cache | Public DNS | Google Developers
しかしこれ、海外の人たちも無作為に発生してるとなると、はてなだけの問題ではないってことになるよねぇ。
ただしフォーラムでゴールドプロダクトエキスパートの方も指摘していた通り、
日本語コミュニティで、はてなブログ環境しかアドレス変更トラブルが報告されていないので「はてなで発生しやすい」というのはほぼ間違いなさそう。
一応新ドメインからも試してみる
もし「はてなブログ」自体にボットがアクセスできないなら、新ドメインの設定から旧ドメインに向けてアドレス変更を使った時も、同様にエラーが発生するはず。
※通常は当然、旧ドメインプロパティの設定から新ドメインに向けるものなので。
なぜなら新ドメインから旧ドメインにリダイレクトなんて設定されているはずがないので、ツールの仕様上「リダイレクトが見つかりませんでした」というメッセージが出るはず。。。
しかし、同じく「ページを取得できませんでした」発生！！結局、新旧のページ共にアドレス変更ツールのボットが読みに来れてねぇｗｗ
(まぁそりゃ同一のはてなサーバに展開されているコンテンツだから、はてなに問題あるならアクセスできないのは当然の話だが。
ちなみに当たり前だけど、新ドメインのhttpレスポンスヘッダのステータスは正常な200)
何かはてな問題濃厚なので
とはいえ、はてながrobot.txtでボットを弾いてるわけじゃないし、要は、はてなサーバのレスポンスが遅いって話だよねぇ？ってことで、
まずはアドセンス審査申請時の「サイトの停止または利用不可」対策でもよく使われる方法を試してみることに。
やってみたことは、とりあえず余計なスクリプトをヘッダーやデザインの中から全部取り除いてみたり。
なんだったらサイトのテンプレートも初期化。※CSS等は必ずバックアップしておいてね。
最終的に、完全なまっさらな初期デザイン状態に。これでサイト速度も断然スピードアップだぜ！ってことでアドレス変更ツールリベンジ！
でもやっぱエラー発生！！ｗｗ もう打つ手がないのか？
ん？まてよ、サイトのレスポンスが悪い？？ってことは、、
クローラーが来やすくしたらいいじゃない
サイトデザインを変えて軽くしてもアドレス変更ツールが見に来れないってことは、
何らかのフラグ(このサイト重いぜ！)がGoogleクローラーに残っちゃって、あまり読みに来ない可能性があるわけで。
(ペナルティでnoindex指定されてるわけでもないし。おそらく、ありがちなサイトマップを読み込んでくれない問題とかもこの類かと)
だったら「もっとサイトに来ていいのよ！」って伝えてあげればいい。
そこで思いついたのが「クロール頻度」の変更。本来は自動でGoogleが調整してくれるからまずいじることはなくて、非推奨なんだけど。
実は旧版のサチコにあったこの設定は、いまもアクセス可能。
https://www.google.com/webmasters/tools/settings
ここで、クロール速度を変更するプロパティを選ぶ。(ちなみに一応私は新旧ドメインどちらも設定した。どっちも結局はてなサーバだし)
初期は「サイトに合わせて自動的に最適化」になってるけど、これを「Googleの最大クロール速度を制限する」を選択。
すると、こんな状態になってたわけ。
1秒間のリクエスト回数が激低なのが分かると思う。※設定前のスクショを忘れたので、設定後にデフォの状態を再現した画像。
普通はこの設定って、クローラーがアクセスしに来すぎてサーバが重くなっちゃったときに使うんだけど、今回やるのはその逆。
つまり、、
バーを右にドラッグしてMAXに設定。これで最大1秒間に2リクエストしてもらうように。ちなみにこの設定は一時的で、有効期限が決まっている。
※「保存」ボタン押下後は、登録されているメールアドレス宛に「カスタムのクロール速度がリクエストされました」というメールが届く。
そして、、ついに！！
この設定後、クローラーが実際にそのスピードで動き出すのは1～2日後からという話なので、しばし待ち。※たぶん設定直後にやってもエラーは変わらないと思われ。
この時、11月12日夜。まったく待ちきれないので翌日13日の夕方。アドレス変更ツール、もう通算何十回目かの再チャレンジ。
いつも通りクイック検証を実施。そして、、、
「検証に合格しました」！ついに突破！！！キターーーー！！！！！あとは「移動を確認」をポチっとな。
※ちなみにこれ、偶然通ったんじゃなく、一旦キャンセルして何度かやってみたけどエラーは発生しなかった。
無事ツールに移行が伝わると？
旧ドメインのプロパティ上のアドレス変更画面は下記の状態に。
「このサイトは現在移行中です」ってことで、もし何かの理由でキャンセルしたければ「移行をキャンセル」を押せばいい。
なお新ドメインのプロパティにおけるアドレス変更画面はこんな感じ。
「このサイトに移行中のサイトが他にも1つ以上あります」って表示で、これははてなブログの場合、httpとhttps二つのプロパティが独自ドメインにリダイレクトが向けられているから。
苦節約1か月。。
独自ドメイン移行して、エラーに出会ったのが10月12日。そしてこの成功した日は11月13日。。もう丸1か月やんけ！！！ｗｗ
もちろんこの間、上記の様々な修正を試しつつアドレス変更ツールに何度もチャレンジしていて、
国内海外問わず、色んなコミュニティで情報を検索しまくったりもしていたわけ。(bingやtwitterも駆使しましたよ、ええ)
でもまったく情報なし打つ手なしで、Googleにダメもとでフィードバック送りまくっていたわけだけど、それでも何ら変わらず、毎日毎日アドレス変更ツールにチャレンジする日々。。
もうね、ついにワードプレス民にならなきゃダメなのか？とかも頭によぎったり。。
それが今回、やっとよ！！
まぁこれって初回エラーから1ヶ月というキリの良さ的に、もはやちょうど良く「時間が解決してくれた」と言えないことも無いｗｗ
でも成功のタイミング的には先述のクロール頻度設定後だから、ちょっとさすがに偶然にしては出来過ぎなんだよねぇ。
※もしクロール頻度変更が無関係なら、エラー発生から約1ヶ月経過しないとGoogleさまのご機嫌が直らないという無慈悲なオチになるｗ
まー301リダイレクトが設定されている以上、遅かれ早かれ検索エンジンがきちんとインデックス移行やってくれるわけで、
アドレス変更ツールが使えないところでそこまで大きな問題はないと思うけれど、やっぱ気持ちの問題としてスッキリしないもんねぇ？ｗ
ってことで、もしもはてなブログで今もエラー発生に困って悩まされている人は、ダメ元でクロール頻度の変更を試してみる価値はあるかもしれんよ。
アドレス変更ツールにおけるエラーに限らず、もしかしたらアドセンス申請のサイトの停止エラーでも使える対処法かもしれん。
もちろんこれが正解で正攻法だとは全然思ってないし、効果のほども一切保証しないので失敗してもノークレームでｗ
※用が済んだら、クロール頻度はまた自動設定の推奨オプションに戻しておこうね。結局サーバやネットワーク資源ははてなに依存するわけで、
余計な負荷かかって(アクセス不能で)Google様からインデックス除外されたら元も子もないので。
それではみなさん、良いはてなブログライフを！
