読者です 読者をやめる 読者になる 読者になる

A/Bテスト

複数の選択肢のうち、どちらがよりより結果をもたらすかを

見極めるための検証方法の一つ

 

例えば、あるアプリ内で、ゲームのアイテムのセールを行なっているとして

その販売ページへの誘引をするためにバナーが作られる。

ユーザはこのバナーを見て、興味を持つのでバナーの内容は

重要になる。

この時、バナーのクリック率や、遷移後のコンバージョン率が

バナーの質を測る要素になるが

今回はクリック率をよりよくするためにどんなばなーいいかを

検証する方法として取りあげている。

 

2つのバナーでどちらが良いかを検証するときに

順番に同じ期間バナーを出す方法(前後比較)

があるが、この方法は時期や特定期間で行われているゲーム内の

イベント等の外部要因を受けやすい。

 

しかし、A/Bテストは、同時期にランダムに表示させる手法を取るため

こういった外部要因を受けにくくこの検証に向いている。

 

A/Bテストの対象の分けかたはランダムでなければならない。

わかりやすいのはユーザIDの下一桁が偶数か奇数かという分けかた。

 

検証したときに、クリック率に差が出たとして

その差が偶然のものでないかを調べる方法に

仮設検定というものがある(最初の本でやったやつ)

 

人数(サンプルサイズ)が多い場合、ほとんどの

結果が有意に差があると言える。

 

ただ、有意に差があるか良いのではなくて、

有意に差があるので、この差がビジネス的に意味があるかを検討する

という使い方のよう。

 

2つのバナーと「クリックした、していない」の仮設検定には

カイ2乗検定を使う。

 

■まとめ

A/Bテストは導入がしやすく、検証もしやすく手軽さで言えば一番良さそう。

仕事でも使えるかもしれない。