日々、アクセス解析やヒートマップを見ているが、課題解決につながらない……。そもそも、データをどう分析すればいいかわからない、ツールが使いこなせないなど、課題解決につながらない理由はさまざまあるでしょう。
この記事では、「なぜアクセス解析やヒートマップを見ても課題が出ないか」を整理し、アクセス解析などの手法で効果的な改善をできるようにする「ユーザーテスト」という分析手法について説明していきます。
なぜアクセス解析やヒートマップだけではダメなのか？
アクセス解析ツールやヒートマップ・ツールには、日々大量のデータが貯まり、ユーザーが「どこから来たか」「どのページを見たか」「どこでサイトを離れたか」などが仔細にわかります。万能に見えるこれらのデータですが、実はそこには「行動データ」しか含まれていません。
マーケティングの父ともいわれるフィリップ・コトラー教授は、次のように指摘しています。
課題や改善アイデアを考えるためのデータとして、「ビヘイビア・データ（以下：行動データ）」と「アティテュード・データ（以下：心理データ）」の2つがあり、これらを両方とも掴むことが重要である。
アクセス解析やヒートマップを見ても課題がでない理由には、行動データしかないことに起因するのではないでしょうか。この状態を抜け出すには、もう一方の心理データを得る必要があります。
心理データを得るための手法として、一般的なものは「アンケート（なかでも、選択式ではなく、フリー回答式のアンケート）」などです。アンケートは、アクセス解析などと並んで有用な手法です。しかし、アンケートでも、ただ実施すれば課題解決に必要な心理データが得られるというものではありません。
なぜアンケートでは不十分なのか？
その理由は、アンケートで心理データを得ようとすると、手法上の次のような2つの限界があるからです。
限界1. 「書き言葉」の限界
アンケートは、パソコンや筆記用具などで自分の考えを「書く」必要があります。しかし、実は「書く」ことは、私たちが思った以上に難しい行為です。自分の思いをすべてスムーズに書き出せる人は、残念ながらそこまで多くいません。
以前ある調査で、まったく同じ設問に対して「話して回答」と「書いて回答」を同時に行ったところ、「書いて回答」に比べて「話して回答」で得られる情報量に5倍近くの差が出たケースがありました。つまり、「話して回答」の方が得られる情報は、圧倒的に多いのです。
アンケートは、回答者の「書く力」に大きく依存することもあり、期待通りのボリュームや精度の高い心理データを得ることは難しいといえます。
限界2. 「記憶」の限界
アンケートは「過去の経験を思い出す」ケースがほとんどですが、記憶には限界があります。たとえば、「1週間前の夕飯を食べているときに何を考えていたか」と問われて、正確に思い出せる人はいないと思います。
ほとんどの人は何を食べていたかも思い出せず、せいぜい「あの日の夕飯は美味しかった（まずかった）」ぐらいの感想を出すのが限界でしょう。
人間の記憶には大きく分けて「短期記憶」と「長期記憶」の2つあるといわれています。
経験は、まず短期記憶に保存されて、十数秒程度で9割近くの記憶が消えてしまうといわれています。
アンケートの回答者は、対象となる経験を終えてから、ある程度時間が経過してしまっている場合がほとんどです。アンケートは「記憶力」に依存せざるを得ず、必然的にアンケート回答の「精度」には限界があるということです。
以上の2つの「限界」を踏まえたうえで、私は、Webマーケティングにおいて心理データを得るには、「ユーザーテスト」が非常に有効な手法であると考えています。
ユーザーテストとはユーザーの「行動」と「心理」を知ること
ユーザーテストは、簡単にいうと「ユーザーのサイト・アプリの利用シーンの観察し、利用時の気持ちの傾聴を通じ、ユーザー心理やサイト・アプリの課題を得るための手法」です。
もう少し具体的にいうと、ユーザーテストは以下のような3つの特徴を備える調査です。
- 状況設定を行い、無目的に漠然と見てもらう／使ってもらうのではなく、何らかの状況や目的を提示したうえで使ってもらう
- 黙って使ってもらうのではなく、利用中に「思ったこと・感じたこと」をつぶやいてもらう思考発話がある
- 使って終わりではなく、その後に思ったことや感じたことを深堀りする回顧がある
ユーザーテストは「使っている様子を見るだけの調査」と誤解されるケースがありますが、思考発話や回顧を通じて「心理」まで確認する手法です。様子を見るだけであれば、「マウストラッキングツール」などと変わりません。
※ここ指す「ユーザーテスト」とは、ユーザー心理や文脈理解が目的である「ユーザー調査」、文脈・タスクを決めたうえでその使い勝手を測る「ユーザービリティテスト」、ユーザービリティテストとユーザー調査をあわせた「ユーザー行動観察調査」などのさまざまな言い方や手法がありますが、ここでは細部の違いにはこだわらず、これらを含んで「ユーザーテスト」と表現しています。
ユーザーテストをやると、何がわかるの？
ユーザーテストでは、大きく「ユーザー心理」と「サイト・アプリの課題」の両方がわかります。「サイト・アプリの課題」がわかるだけでも非常に重要ですが、特にユーザー心理がしっかりとわかることが、ユーザーテストの真価だといえるでしょう。
単なるサイト課題だと、以下のようなことでしょう。
- 文字が小さく見づらい
- バナーが鬱陶しい
- リンクが押しづらい
- リンクと気づかない
これらは確かに「課題」といえますが、これらを解消したからといって、ビジネス成果につながるかはわかりません。ところが、以下のようにユーザー心理とサイト課題をセットで捉えると、課題解消＝ユーザ心理に応えることになり、ビジネス成果に直結します。
- ユーザーは○○が知りたいが、サイトには書いていない
- ユーザーは○○が知りたいが、サイトの動線が悪く見つけられない
- ユーザーは○○という不安があるが、サイトの説明内容が不十分で解消されていない
- ユーザーは○○を知るとモチベーションが高まるが、サイトにその情報が掲載されていない
どんなときにユーザーテストが必要なのか？
ユーザーテストは「分析手法（ツール）」の1つなので、アクセス解析やヒートマップと同じようなタイミングで使われます。具体的には、以下のようなケースでよく実施されています。
- 新しい企画立案（競合の現状、コンセプトの妥当性をプロトタイプで）
- 現状分析（現行サイトの課題把握）
- デザイン・政策（プロトタイプの妥当性の把握）
- 運用改善（リリース後の未解決の課題把握）
しかし現状は、ほとんどの企業で、ユーザーテストは行われていません。上記のようなケースにおいて、「特にユーザーのことがよくわからない」という場合に、ユーザーテストは行うべきです。
以下のような問いに対して「これだ」という回答がない場合は、ユーザーを理解できていない状態といえます。
- あるサービスをどのように探すか？
- どんな競合と比較検討するのか？
- 比較検討時にどんな観点（軸）があるのか？
- 自社サービスにどんな疑問や不安を持つのか？
- 自社サイト内でどんな行動パターンがあるのか？ など
また「自分はユーザーのことは十分わかっている」と思っていても、ユーザーテストを行うと、まったく想定外の発見や気づきがある場合がほとんどです。現実的には予算・スケジュールなど制約があり実施が難しい場合が多いですが、本来、ユーザーテストは「常に」行うことが望ましいのです。
ユーザーテストはどうやってやるの？
ユーザーテストには、目的・状況に応じてさまざまなやり方がありますが、ここでは「調査の目的・姿勢」「調査の方法」の2つの軸に分けて、4つの方法を紹介したいと思います。
①簡易テストや③自動リモートテストは自社のみで行う形が多く、②本格テストや④リモートテストは外部の専門家を入れたうえで行う場合がほとんどです。以下、理由を説明します。
自社内でのユーザーテストなら「簡易テスト」「自動リモートテスト」がオススメ
自社内でユーザーテストを行う場合は、「簡易テスト」または「自動リモートテスト」を行うことをオススメします。
簡易テストについては、「それってユーザーテストと言えるの？」と感じられる方が多いと思いますが、海外でも「Hallway Test（廊下でテスト）」として定義される立派な手法です。
簡易テストでは、対象者の属性が限られ、進行もアバウトなので、「説得資料」としての価値は弱いですが、「課題や改善機会に気づくツール」としては有効です。具体的な方法は私が以前に作った資料があるので参考にしてみてください。
自動リモートテストについては、海外ではUserTesting.comというサービスが最も有名で、いくつかの項目を入力するだけでテストがスタートでき、1日以内に結果が返ってくるというサービスがあります。
日本では、ポップインサイトが2015年6月にスタートした「ユーザテストExpress」が近く、「準備1分、翌日納品」というコンセプトでサービスを提供しています。
自社内での「本格テスト」「リモートテスト」は大変
「本格テスト」や「リモートテスト」も自社内で実施可能ですが、最初はあまりオススメしません。
確かに、目に見えるコストは非常に安く済ませることができます。
- 本格テスト：モニタのリクルーティングコスト＆謝礼含め10～15万円程度
- リモートテスト：調査実施で5～10万円程度
しかし、安いとはいえ一定のコストを掛けて実施する以上、全くコストをかけない簡易テストとは異なり、社内からは一定以上の成果物を求められます。この期待値に応えようと思うと、非常に手間がかかります。
- ユーザーの用意・調整（リクルーティング）：1～2日
- テスト設計：1日
- 場所・録画環境の準備：0.5日
- 当日のテスト実施（モデレート）：1.5～2日（※リモートでは不要）
- 調査結果の分析・整理：2～3日
- 合計：8.5人日（1人日4万円計算で3人で対応した場合、約100万円の人件費）
また、経験・ノウハウがあまりないなかでユーザーテストを進める場合、工数的な負担以上に心理的にも大きく疲弊します。「録画に失敗したらどうしよう」「同僚に見られる中で、テストの進行を間違えたらどうしよう」「呼んだ人が条件から大きく外れていたらどうしよう」など、大小さまざまな不安が出るはずです。
自社内でユーザーテストをどんどん行ってもらいたいのですが、片手間に行うと工数的・心理的な負担が大きく継続しないため、まずは手軽な簡易テストを行うことからはじめてみてください。
専門家に外注する場合のメリットと予算は？
外注する場合の予算感は、業者により大きく異なります。一言で「ユーザーテストを専門家に外注する」という場合でも、実際にはテストとあわせて定量的な分析まで行い、改善提案まで行うなど、業者によってさまざまな付加価値を提供しているためです。
ただ大雑把にいうと、リクルーティング～テスト設計～実施～分析まで含めると、以下が大体の目安感になると思います。
- 本格テスト：100万円弱～300万円程度
- リモートテスト：20万円～50万円程度
外注する場合はやはりコストがかかりますが、以下のようなメリットがあります。
- 専門家に任せられる（ラクできる）
- 経験・ノウハウがあるため、調査の品質が高い（課題が多く発見点できる）
- 課題がわかるだけでなく、改善方法や方針の示唆が得られる
簡易テスト以上のユーザーテストを行う場合には、最初は外注によって担当者の工数的・心理的な負担をなくし、経験・ノウハウを学んだ上で内製化を行うアプローチが現実的だと思います。
ユーザーテストはもっと当たり前に行うべき
Web業界においては、このようなユーザーテスト（ユーザービリティテストやユーザー行動観察調査）は、長らく「学術的で高尚な手法」「お金がある企業がやる贅沢な調査」だと捉えられてきました。
一方で、そのような認識に対して私は「ユーザーテストは、アクセス解析やヒートマップ分析に優先してでも、もっと当たり前に行うべきものなのではないか」と疑問に感じていました。
ユーザーテストの重要性をスーパーマーケットで例えると、アクセス解析は「POSデータの分析」であるのに対し、ユーザーテストは「店舗でお客様の行動や、店員とのやりとりを観察」することに相当します。
POSデータは極めて有用なデータだと思いますが、「POSデータを分析して課題を見つける」ことは、非常に難しそうです。しかし「店舗で迷っているお客様の様子から課題を見つける」ことは、非常に簡単そうです。
これまでの「現場が見える商い」の場合、そもそも最初は利用できるデータがない（データ化コストが高い）ため、まずは現場を知り、お客様と接するなかで改善改良を重ねて、規模が大きくなるにつれてデータ化を進め、専門家を使いながら大きな視点で考える、というようにビジネスの成長に合わせたステップを踏んでいました。
しかし、Webマーケティングの世界では、最初から利用可能なデータがあふれています。それが原因で、「最初に現場を知る、ユーザーと接する」というステップを飛ばしてしまっているケースが多いのではないでしょうか。「これは良さそう」「これは悪そう」といった「勘」さえも持てない状態で、大量のデータに埋もれて道に迷ってしまうのだと考えています。
個人的には、小売チェーン店の社員がまず店舗で経験を積むように、Webマーケティングに携わる人は、まずユーザーテストを行って現場感を得ることが重要と思います。
まとめ：ユーザーテストの重要性
長々と書いてきましたが、いいたいことを改めて整理します。
- Webマーケティングで成果を出すには、アクセス解析などの行動データだけでなく、心理データを得る必要がある
- 心理データを得るには、ユーザーテストが優れた手法である。単に利用シーンを見るだけでなく、「状況設定」「思考発話」「回顧」という3つのポイントが重要である
- ユーザーテストにはさまざまな方法があるが、自社でやるには「簡易テスト」「自動リモートテスト」が良い。「本格テスト」「リモートテスト」を行う場合、最初は大変なので、外注を活用しよう
第2回では、実際にWeb担当者Forumでリモートユーザーテストを実施し、「どんな流れでユーザーテストは行われるのか」「どんな課題がわかるのか」体験レポートを紹介します。
※このコンテンツはWebサイト「Web担当者Forum - 企業ホームページとネットマーケティングの実践情報サイト - SEO/SEM アクセス解析 CMS ユーザビリティなど」で公開されている記事のフィードに含まれているものです。
オリジナル記事：なぜ、アクセス解析やヒートマップ、アンケートだけでは課題解決につながらないのか？ | やってみました！ リモートユーザーテスト | Web担当者Forum
Copyright (C) IMPRESS CORPORATION, an Impress Group company. All rights reserved.
池田 朋弘（いけだ ともひろ）
株式会社ポップインサイト 代表取締役
早稲田大学卒業。2008年4月、株式会社ビービットに入社し、ユーザ行動観察調査による分析を中心としたコンサルティングに従事し、「中古車一括査定の申込数1.5倍」「BtoBサイトの問合せ5倍」「保険代理店の見積もり10倍」等の多くの実績を出す。延べ300人以上のユーザ行動観察調査を実施。ポップインサイトではWebマーケティング企業に対し、オンラインで実施可能なユーザ調査サービスを提供。