こんにちは、「Airレジ」プロダクトマネージャーの浜田祥太郎です。はましょーと呼ばれています。
コーヒーとガジェットとジャグリングが好きです。

みなさんのプロダクトではどんな指標を追っていますか？新規ユーザ数、コンバージョンレート、いろんな指標を追っていることと思います。Airレジでは、主としてアクティブアカウント数を追っています。

では、アクティブアカウント数に直結する機能開発ばかりをやっているのか？というと、答えはNoです。「すぐには効果が出なくとも、プロダクトの使い心地を磨いていくことも大切だ」という考えに基づいた機能開発も行っています。

でも、「使い心地の改善が重要だ」って、数字で説明できるでしょうか？「このボタンを少し大きくすればアクティブアカウント数が上がる」なんて、風が吹けば桶屋が儲かるみたいな話を数字で説明するのは簡単ではありません。

この記事ではこの「風が吹いてから桶屋が儲かるまで」を、NPS(ネットプロモータースコア)を使って説明していきます。

これから、
・ユーザが困っていることを解決するとNPSが上がる。
・NPSが上がるとアクティブアカウント数が伸びる。
という内容に加えて、どのような案件がよりNPSを上げるのかも明らかにしていきます。

先に、ズバリ結論となる案件価値算出の式を置いておきますね。

案件価値[円] = 解決する負の大きさ * log(頻度日数) * 該当機能利用割合 * 定数C

です。はい、分かりませんね。
では、解説していきましょう。

「Airレジ」とは

0円でカンタンに使えるPOSレジアプリです。
ありがたいことに、街中で見かける機会が本当に多くなりました。
みなさんもどうぞご贔屓に。

検討の背景

Airレジはアクティブアカウント数をプロダクトKPIとしています。つまり、基本的にはアカウント数が増加する案件が優先的に行われます。例えば今年リリースした案件のひとつ「返品機能」はアカウント数に直結する案件です。

しかしKPIに直結しない案件も重要です。
例えば「注文入力画面のドロアーオープンボタンが小さすぎて押しづらいから大きくして欲しい」というユーザ要望に応える案件などは、KPIに直結しません。「ボタン大きい！Airレジ使おう！」とはならないですからね。
でも、このような案件をやらないまま1年、2年と新規機能の追加だけを行っていくと、いつの間にか使いづらいアプリになってしまい、人に勧めてもらえなくなったり、チャーンの原因になったりするでしょう。つまり長い目で見るとKPIに響いてくるわけです。

このようなKPI非直結の使い心地改善案件をAirレジではVoice Of Clientの略でVOC案件と呼んでいます。

VOCに関して詳しく書いている記事はこちら

Airレジでは「VOC案件のための工数」を固定で確保して少しずつ取り組んでいますが、これはいわばカルチャーに支えられたものでした。
できることならVOC案件の価値を数字で語りたい！堂々と投資判断を受けたい！ということで考えたのが今回のNPSを使った方法です。

NPSとは

ここで前提となるNPSについて簡単に説明します。
NPSとはネット・プロモーター・スコアの略で、1〜10で表されます。
アンケートにて、回答者は「その商品を親しい人に勧めたいと思うかどうか」を10段階で評価します。
回答の値の平均が高ければ高いほど、人に勧めたい商品(≒良い商品)である、ということです。
Airレジでは半年に一度くらい、一部のユーザーにご協力いただきNPSを計測しています。

前提となる考え方

今回の価値算出ロジックは以下のような三段論法をベースにしています。

①VOC案件に取り組むと、NPSが向上するはずだ
② NPSが高いユーザーは、Airレジを積極的に勧めてくれるはずだ
③ 勧められた人がアカウント登録してくれたら、それはつまり価値を生んだということだ

このうち、①と②はこれまでの取り組みで具体的に相関関係が判明していました。③は自明と考えて良いでしょう。

単位NPSあたりの価値

②から③の内容を数字で表すことも難しくありませんでした。
以下のような式で表現できます。

1ユーザーあたりの単位NPSあたりの価値[円]
= 単位NPSあたりのリファラル件数 * アカウント1件獲得価値
= (単位NPSあたりお勧め件数 * お勧めされた人のアカウント登録率) * アカウント1件獲得価値
※お勧めされた人のアカウント登録率は観測不能なので、えいやで50%としました。

では、どんな案件がNPSを向上させるのか

次は、①の詳細「では、どんな案件がどれくらいNPSを向上させるのか」です。やっと重要なパートに来ましたね。

過去案件データを分析しました

まず、過去に取り組んだVOC案件をリストアップして、「機能利用の定義」をしました。
例えば、「ボタンのサイズを大きくした案件」であれば、そのボタンをある期間のうちに押した人は機能を利用しており、押してない人はその機能を利用していません。

これをA案件、B案件、...と定義していき、機能利用有無とNPSスコアを回帰分析することで、各案件を利用した人が、利用していない人に比べてどの程度NPSが高いかを算出しました。

今まで「この案件良い案件だったよね！」「いやいやこれも！」などと言っていたものが数字でランク付けできてしまいました。

やったー価値算出成功！！終わり！！のような気もしますが、ここはまだ道半ばです。
ここまでは過去の分析であり、我々は「では、これら価値の高い案件に共通する要素はなにか」を分析して未来予測できるようにならなければなりません。

各案件に紐づくさまざまな要素を抜き出して、さらに回帰分析しました。
その機能への要望数, 利用頻度, ユーザーの「嬉しさ」度合い...

結果

いろいろ試した結果、以下の計算式で表現できることが分かりました。

その機能利用有無によるNPS変化幅 = 解決する負の大きさ * log(頻度日数) * 0.1
※logは10を底とした常用対数

ある機能のNPS寄与度(≒案件価値)を主に左右しているのは、「解決する負の大きさ」と「頻度日数」の2要素でした。

ここで、要素の定義は以下のとおりです。

●解決する負の大きさ
1〜5の数値です。
その機能がないことによってユーザーが感じる一回あたりのイライラ、その機能があることによってユーザーが感じる1回あたりの嬉しさを1〜5で表現します。
これはユーザーの心の中にしかない数字なので、チームのメンバーで想像してえいやと決めます。

●頻度日数
平均的なユーザがその機能を月間何日利用するか、です。
例えば会計に関する機能なら月30回近くになります。
月次レポートを書くための機能なら月1回程度になります。
これはデータからある程度正しく予測可能です。

つまり、例えばすべてのユーザーが毎営業日ごとに少しだけ不便に感じていることを解決すると、
NPS上がり幅 = 1 * log(25) * 0.1 ≒ 0.14
で、0.14くらいNPSが向上するはずです。理論上は。

この式を、さらに前述の「1ユーザーあたりの単位NPSあたりの価値」とあわせると、以下の式が作れます。

案件価値[円]
= その機能の利用者数 * その機能利用有無によるNPS変化幅 * 1ユーザーあたりの単位NPSあたりの価値
= (アクティブユーザ数 * 該当機能利用割合) * (解決する負の大きさ * log(頻度日数) * 0.1) * (単位NPSあたりお勧め件数 * お勧めされた人のアカウント登録率) * アカウント1件獲得価値
= 解決する負の大きさ * log(頻度日数) * 該当機能利用割合 * (単位NPSあたりお勧め件数 * お勧めされた人のアカウント登録率 * アクティブユーザ数 * アカウント1件獲得価値 * 0.1)

式の太字部分は定数なので、これをCとおくと、最終的に以下の3変数の式で案件価値が算出できます。

案件価値[円] = 解決する負の大きさ * log(頻度日数) * 該当機能利用割合 * C

ここで、これまで登場しなかった「該当機能利用割合」が登場しますが、これも既存のデータからある程度予測可能です。

かくして、我々はKPIに直結しないVOC案件の価値を主張できるようになりました。
ふー、長かったですね。

まとめと今後と書ききれなかったこと

まとめ
過去の案件のデータとNPSアンケートの数字をあれやこれやすることで、我々はアクティブアカウント数に直結しない案件価値を、以下の3変数の式で表現および予測できるようになりました。

案件価値[円] = 解決する負の大きさ * log(頻度日数) * 該当機能利用割合 * 定数C

現在は、この指標に沿ってVOC案件の優先順位を決めています。

今後
無事案件価値を数字で表現できるようにはなりましたが、この式の妥当性を検証するのは簡単ではありません。
結局ある案件でどれだけNPSがあがったのか、どれだけアカウント登録が増えたのか、ということをクリティカルに検証するのはとても大変です。

実際、正直なところ、この方法で算出した案件価値リストの中には「この案件価値はうん千万円相当のはず」なんていう、ほんまかいなな数字が登場しています。ほんまかいな。

また、この式には「分からないのでえいやで置いた数字」や「ユーザーの心の中にしかないのでえいやで予想した数字」がいくつか使われています。

これら(特に「解決する負の大きさ」など)をより具体的に科学できるようになれば、価値算出精度が上がっていくのではないかと思います。

ところで、本題からそれてしまうため書ききれなかったことですが、実は今回のNPSアンケートでは「導入体験」「機能充足度」「使いやすさ」「サポート体験」といった体験因子を定義し、それぞれの体験の満足度とNPSとの関係といったことも考えました。

これにより、例えば「美容業界は導入体験を重視するが、小売業界はサポート体験を重視する」といったことが分かりました。
これはまだ実務に反映できてはいませんが、なかなか興味深いことだと思います。

また、NPSが高いユーザーはAirペイなどシリーズの他プロダクトへのクロスユースが活発であるといったこともわかってきています(これはまぁ、満足度が高ければ兄弟プロダクトも使うだろう、ということで直感的には当たり前なのですが)。

このNPSとクロスユースの関係も、今後研究の余地がありそうです。

余談
余談ですが、今回難しかったのは実は数字こねこねではなく、関係者合意でした。
あるあるかもしれませんが、複数のステークホルダー(偉い人を含む)が「NPSを使えば良い感じに案件価値を算出できるのでは...!?」という大枠の考えを持ちつつも、とはいえ具体的なイメージには至っていない、という状態で担当者としてテーマに挑むことになります。その中で各関係者に「案件価値とはつまりリファラルの価値換算として定義する」「今回はクロスユースに関する考察はしない」という、「やりたいことの具体像を握ること」が大変でした。加えて、「Airペイも同様の施策をやりたいが、期間が近すぎると問題だから調整しつつやろう」などという社内調整もありました。抽象度が高いテーマだとこういう難しさがありますね。

あとがき
久しぶりに1ドキュメントで5000字も書きました。
普段は「ユーザーヒアリングを元にワイヤフレームを書く」などもう少し定性寄りの業務をしていますが、今回は数字を科学するプロジェクトで、なんだか大学の研究室時代のようでした。

今回のような、「使い心地改善をやったほうが良いことはわかっているけどなかなか投資判断ができない！」という悩みはAirレジに限らず多くのプロダクトでありうることだと思います。
今回の記事が読者の方の参考になればとても嬉しいです。

ありがとうございました！