ANAサイトでコンバージョンを25%以上改善させた多変量テスト、そのROIは広告と比べるとどうなのか? [事例] | Web担当者Forum

全日空（ANA）が、同社サイトにおける国内線の料金紹介ページを改良し、25%～30%の改善をみせた多変量テスト手法とは？
そして、テストによる改善のROIは広告と比べるとどちらが高かったのか？

飛行機のチケットはインターネットで買うという人が増えたいま、航空会社のウェブページは旅行代理店の窓口と同様の機能を持っている。その「窓口」で、いかに顧客に価値を理解してもらい、快適に買い物をしてもらえるかは、航空会社の売り上げに直結する。

全日空（ANA）では、同社サイトで重要度が高い国内線の料金紹介・購入ページを多変量テストによって改善することで、予約完了率を大幅に改善した。

利用したテストツールは、オートノミーのOptimost（オプティモスト）。プロジェクト立ち上げからわずか3か月、テスト期間は約2週間で25%以上の改善率を達成したその背景や、同じ費用を広告出稿に使った場合とのROI比較について聞いた。

サイト企画を出すと役員が「A/Bテストは？」と聞く社風

ANAのWebサイトでは、航空券の予約・空席照会・運賃案内やツアーなどを購入できる。

大野 晃 氏
全日本空輸株式会社
プロモーション室
マーケットコミュニケーション部

飛行機の運賃にはいろいろな種類がある。「何日前に買えば何割お得」といったプランが複数あり、どのように買えばお得かネットで調べる人も多いだろう。ANAのウェブサイトは、そういった人のニーズに応える役割も果たしている。

ANAのウェブサイトを統括しているのは、同社プロモーション室マーケットコミュニケーション部のウェブチームで、コンテンツ制作は協力会社と、インフラの運用はグループ会社のANAシステムズと一緒に行っている。

すでに航空会社のウェブサイトは売上げに直結する場である。そのため同チームでは定期的にサイト改善を行っているが、テストツールなどを使用した大規模な最適化を数年ぶりに行った。2012年末～2013年初頭にかけてのことだ。プロジェクトが立ち上がった理由は、「トライアンドエラーしてみないと課題も見つけられない」（大野氏）からだ。

最適化といっても集客施策の改善やサイトの改善、さらには既存顧客に対するメールやソーシャルメディアでのコミュニケーションなど、さまざまある。同社が今回のプロジェクトで対象にしたのは、サイトにおいてどんな情報をどう表示するとコンバージョン率が向上するかをテストする「多変量テスト」だ。

ここでいう「テスト」とは、実際にサイトを訪れるユーザーに対してさまざまなパターンでコンテンツを表示するウェブテストの手法のこと。Web担当者やデザイナーの思い込みでページを作るのではなく、どのパターンのページを見たユーザーがコンバージョンしやすかったかをデータで判断することにより、サイトの成果を伸ばす手法として導入が増えている。

ウェブテストには、「A/Bテスト」と「多変量テスト」がある。「A/Bテスト」は、あらかじめ複数のページを作成しておいてユーザーごとに見せるページのURLを切り替える手法。「多変量テスト」は、ページ内の複数の要素をユーザーごとに変えて出すことで、どの組み合わせが最適化を判断する手法。今回ANAが採用したのは多変量テストのほうだ。

興味深いのが、「ANAでは何かする際にはIT系の担当役員に『テストをしたのか』と聞かれる」（大野氏）ほどに、ウェブテストの重要性が経営層にも理解されているということ。そのため、今回の多変量テストによる改善提案も、社内では当然のように企画として理解されたという。

ツールを導入するだけでなく運用フェーズでもプロの協力を得る

ウェブテストを実施するといっても、手動で公開ページの内容を切り替えるわけにはいかない。テスト用のツールを利用することになる。

同社ではプロジェクトの前段階として、A/Bテストや多変量テストを行うさまざまなツールを検討した。「検討したなかで最終候補に残ったのは、これまでサイト分析ツールを利用していた企業が提供するテストツールと、オートノミー社のOptimostでした」（大野氏）。

これまで同社ではアクセス解析などに関して、ある企業の製品群を利用していたのだが、今回のプロジェクトでテストツールとして最終的に採用したのは、その企業の製品ではなく、オートノミーのOptimostだった。

関沢 宏介 氏
全日本空輸株式会社
プロモーション室
マーケットコミュニケーション部
宣伝チーム

選定のポイントは、運用フェーズを含めたコンサルティングサービスだという。

「どちらのサービスもコンサルティングは提供してもらえるのですが、運用フェーズでのコンサルティング提供に違いがありました。

もう1社のツールは最初にコンサルテーションをしてもらい、その後は自分でツールを使ってテストしていく形でした。それに対してOptimostでは、導入時のコンサルテーションだけでなく、テストから最適化まで継続してコンサルティングを提供してもらえる形でした。

設計、実行、分析すべてにわたって全面的に、プロのコンサルタントの知見をもって協力してもらえる点で、今回はOptimostを選択しました」（関沢氏）。

もちろんフリーのツールを使って自分でテストすればコスト的には安くあがるが、そのためにはテストに関する知見が内部に必要だし、工数もかかりテスト自体が業務の負担になることもある。ANAの場合には、人材的にもスキル的にも潤沢ではなかったため、運用フェーズを含めてコンサルティングが提供されるOptimostを選択したのだ。

特に今回は期間を区切って行うプロジェクトだったため、コストもそれほど負担にはならない。もちろんOptimostのツール自体も、「感覚的に、やりたいことの制限があまりなく、使い勝手がよかった」（関沢氏）ともいう。

短期間のプロジェクトのため、社内リソースの不足をフォローしてくれる運用フェーズでのコンサルテーションが提供されるサービスを選択しました。

テスト対象は最もアクセスの多いページを選定

ツールが決まったあとは、テストの流れとしては、次のようなものとなる。

1. テストのゴール（目的）を設定する。
2. テスト対象ページを決定する。
3. 仮説に基づいてどんな表示をすれば改善される可能性があるかテストを設計する。
4. それぞれの仮説に対応するクリエイティブを作成する。
5. 実際のページにOptimostのタグを埋め込む。
6. テストを実行する（訪問者にさまざまなバリエーションの表示を提示し、違いをデータとして取得する）。
7. 統計的に有意な差が出ているかどうかをテストのデータで判断する。
8. テスト結果をもとにさらなる改善を設計し実行する。

ゴールはもちろん予約完了率の向上だ。そのゴールを達成するためのテスト対象としてANAがまず選んだのは、国内線のページ。今回のテストでは「旅割」と「特割」という2つの航空券割引商品について、運賃紹介とチケット予約のページでそれぞれテストを行うことにした。

というのも、売り上げのボリュームが最も大きいのが国内線の航空券予約であり、アクセスが最も多いからだ。

複数の要素の組み合わせから最適なものを探る多変量テストでは、統計的に有意な差を出すためにも、ある程度以上のサンプル数がなければいけない。そのためにも、アクセス数が多く、大量のテスト結果を早く集められる国内線のページでテストするほうが短期間で結果を出せると判断したのだ。

ただし、アクセスが多いページでテストを行うと、結果は早く出るが、万が一トラブルが発生した場合のダメージも大きい。そのため、テスト実施の前によく検証する必要がある。ANAでは、動作に問題がないかだけでなく、ページ表示の速度にも影響が出ないか入念にチェックしたうえで導入している。実際、インフラ運用の部署でサーバー監視ツールを使っており、もし遅延などが許容できないほどになればそれを止める体制にもなっているのだが、テスト実施時に速度などの問題は発生しなかったのだという。

「多変量テストのタグを入れているとページ表示速度に影響があるかと思っていたのですが、ブラウザを使って自分でページにアクセスしてみても、テストのせいで遅くなっているという印象は一切受けなかったですね」（大野氏）。

多変量テストでバリエーション数があったため、最もアクセス数の多いページでテストを実行することにしました。

プロの知見により自社では思いつかない改善案も

テスト計画は、ANA側で常々疑問に思っていたことや制作を担当している協力会社の意見なども検討しながら、オートノミーのコンサルタントが立案した。

提案のための仮説は人による類推ではなく、アクセス解析データをもとデータ・数値を基にした分析によって導き出した。そうした仮説の一部を紹介しよう。

サイト改善のために提案された仮説の例

仮説例1

ページを開いたときに運賃例が訪問者の視界に入りやすくするように、上部のコンテンツを非表示にすることで、売上インパクトがあるのではないか。

仮説例2

アクセス解析データの分析により、売上に対する貢献度が低い機能であることが発見された部分を非表示とすることで、ページ上の他のコンテンツに誘導できるのではないか。

仮説例3

商品の特性を説明するコンテンツを上部に移動することで、訪問者がまず商品の説明を目にしてその理解を深められるようになり、売上コンバージョンにインパクトがあるのではないか。

「オートノミー側からの提案の半分ぐらいは、我々のチームでは思いつかないようなテスト案でした。そこは、さすがプロですね」と関沢氏は言うが、自分たちが「多分こうすればいいだろう」と思っていたものでも、実際にテストすることで数字として明確になるというメリットがある。

テスト計画を決定したら、クリエイティブを作成してテストを実施する。

Optimostでは、テストのためのサイト側の修正はごくわずかでいい。テスト対象のページにテスト用のJavaScript（1行だけ、全ページ共通）を追加するだけだ。

キービジュアル、レイアウト、ボタン、価格テーブルなど、ページ改善案を元に作られたテスト用のクリエイティブは、対象ページのURLなどとともに、Optimostのシステムにテストとして設定する。

テストを開始したら、ユーザーがアクセスするにつれて蓄積されるテスト結果レポートを管理画面から参照するという手順だ。

予想を上回る二桁の改善率

プロジェクトが立ち上がったのが10月だったが、準備はすばやく進め、その年の12月25日にはテストを開始していた。

この時期は航空会社にとっては繁忙期でありサイトへのアクセスは多かったため、統計的に有意なテスト結果が2週間ほどで出た。その結果レポートが1週間ほどでANAに提出され、さらにその結果を元にした改善を行った。

そうした改善フローをまわした結果、対象となった各ページで、予約完了率が以前に比べてそれぞれ25.6%と31.7%向上した^※。二桁の改善率というのは、予想を超えるものだったという。

テストにより、サイトの成果へのコンバージョンが25%～30%改善していることを確認できました。

もちろん、提案されたすべての仮説が正しかったわけではない。そうしたことを確認できるのもテストの利点であり、仮説が誤っていたことが明らかになることは、失敗ではなく前進なのだ。

たとえば「コンテンツヘッダーを非表示にすると売上インパクトがある」という仮説は、テストの結果、旅割のページでは有効だったため採用されたが、特割ページでは非表示にしないほうがコンバージョン率が良かったため採用されなかった。

また「特割」ページで「お知らせ欄を非表示にすると売上インパクトがある」という仮説も提案されテストされたが、実際にはお知らせ欄は表示したままのほうが良かったのだという。

短期的なROIでは広告のほうが良いが、サイト改善は効果が続く

費用対効果という意味ではどうだったのだろうか。

「実際のところ、“このプロジェクトにかけた費用に対してこの期間で得られた売上向上”という意味では、広告に負けます。つまり、同じお金を使って広告出稿していたほうがリターンは大きかっただろうということです。

しかし、サイト改善による成果向上はこの先もずっと効果があります。広告はお金を出している期間しか成果を生み出しませんからね。ROIという意味では、近い将来に広告を上回る状態になるでしょう。また、今回の改善によって、今後の広告出稿による集客のROIが高まりますから、大きな成果だと考えています」（大野氏）

アクセス数の多い国内線のページでテストをしたことは、その後の動きにも良い影響を与えている。テスト結果を早く出せたことで、早期に他のページにもその結果を適用できるようになったのだ。

「国内線に続いてすでに国際線のページでもテストを行っていますが、国内線で明確になった点以外の部分をテストするだけでよいので、テストはスムーズになっています」（関沢氏）

また今後は航空券のページだけでなく、ツアーのページでもテストを実施する予定だという。

単純なROIでは広告のほうが高く見えます。でもサイト改善による売り上げ増加は効果がずっと続きますし、今後の広告出稿のROIも底上げしてくれます。

ANAでは、こうしたテストを進めることで成果をさらに上げていくのだろうか。

「もちろん予約完了率を向上させるためのテストは行いますが、また違った観点でのテストも行うべきだと考えています」（関沢氏）

それは、「まだ買おうと決めているわけではない人」に提示するべきメッセージの見極めだ。

「今回テストで対象としたのは自社サイト内のコンテンツであり、基本的にはANAに興味があって来訪している人が見るページです。そのため、ANAで航空券を買おうとしている人に対して、よりスムーズに購入できるような改良を加えることが主眼となっています。改善はファーストビューに空席照会ボタンを置くなどの、『すぐに購入できる』ようにするためのものでした。

しかし、サイト訪問者のなかには、どこで航空券を買うかをまだ決めていない人もいます。そういう人には、購入のために来ている人とは異なる文脈があるはずです」（大野氏）

同じページのファーストビューに近い部分では大多数の「チケットを購入しようとしている人」向けにユーザビリティを向上するとともに、そこでは決めずにさらに情報を探す人向けに、ページをスクロールしていった先では「検討している人」向けのコンテンツを作り込む。次のステップのページ改善としては、そんなことも考えていく予定なのだという。

テストの結果がさらに新しい気づきを生み出してくれる。

テストを行うことは、成果を伸ばすだけでなく、さらに新たな気づきを得て次の改善案につながる。企業サイトとは、こうした改善の連続でさまざまなユーザーにとって役に立つものになっていくのだろう。

• 内容カテゴリ：ユーザビリティ／ペルソナ／IA
• 内容カテゴリ：サイト企画／制作／デザイン
• コーナー：事例

※このコンテンツはWebサイト「Web担当者Forum - 企業ホームページとネットマーケティングの実践情報サイト - SEO/SEM アクセス解析 CMS ユーザビリティなど」で公開されている記事のフィードに含まれているものです。
オリジナル記事：ANAサイトでコンバージョンを25%以上改善させた多変量テスト、そのROIは広告と比べるとどうなのか? [事例] | Web担当者Forum
Copyright (C) IMPRESS BUSINESS MEDIA CORPORATION, an Impress Group company. All rights reserved.