UB ResearchとNewsPicksの両方を担当している高山です。
去る7月10日に株式会社プレイドさんとNewsPicksの合同で、次のようなイベントを開催しました。
実はこのテーマは、僕から是非ともとお願いしてやってもらったのでした。
というのも、NewsPicks社内で蓄積されているA/Bテストの施策レポートが2年少々で120個（！）も溜まっていたので、是非ともその良い話を自分が聞きたいし、世の中にもシェアしたいと思ったのです。
NewsPicksでABテストの学びのストックが凄すぎるので絶対に世の中にアウトプットしたい！と思って是非にとお願いしてイベントで話してもらうことになりました！！もしかしたら地味なテーマなんですが、それは承知の上で、他社さんでABテストとかをやってる方々には参考にしてもらえるはず。 https://t.co/0HGRyaOipu
— Atsushi Takayama (@edvakf) June 15, 2023
なぜ凄すぎると思っているかというと、ABテストごとにこんなレポートを作っていまして、去年末に数えたらなんと120個にも達していました。本当に頭が下がります。 pic.twitter.com/z1jtedUOdt
— Atsushi Takayama (@edvakf) June 15, 2023
当日のイベント録画動画はこちらからご覧になれます。
ここから弊社メンバーによるセッションの感想を書いていきます。
『120回分のABテスト結果を分析して見つけたアンチパターン/成果が出たパターン』
動画の44分目頃からです。
120回のA/Bテストのうち100回ぐらいには関わっているであろう桐畑からの発表でした。
特技はネトゲのレベル上げなのでA/Bテストも得意という話で場を盛り上げ、実践での学びを共有してもらいました。
NewsPicksではiOSとAndroidの2つのモバイルアプリ実装がありますが、ユーザー数が多い方でやった方が断然早く結果が出るという話がありました。
他にも（質疑でしたが）他社のアプリのUIは参考にしつつも、必ずしも自社でも同じような結果になるとは限らないという話は、たくさん実践されているからこその学びがありました。
『Notionを軸にABテストを効率化する』
動画の59分目頃からです。
最近A/Bテストを多く実施している七五三（しめ）からの発表でした。
Notionのテンプレート機能だったりZapier連携を使い倒すという内容でしたが、A/Bテストの学びを蓄積させる方法（『A/Bテスト実践ガイド』におけるインスティテューショナルメモリ）に広く通じる話でした。
全体を通して
プレイドさんの理論的な内容とNewsPicksの実践的な内容のバランスも良く、NewsPicksの学びの蓄積も存分に味わえる満足度の高い勉強会でした。このテーマでやってほしいとお願いした甲斐がありました。
特に、オフライン参加者もオンライン参加者の質問も大量に出て質疑応答も非常に盛り上がりましたので、皆さんにも満足いただけた濃い勉強会になったと思います。
機会があれば是非二度目も開催してみたい内容でした。
貴重な機会と会場を提供してくださったプレイドさん、ありがとうございました。
おわりに
ユーザベースでは今回のようなA/Bテストにまつわる技術にも多く取り組んでいます。データに基づく意思決定を支え、ひいては開発者体験を向上させることに興味のあるエンジニアの方は是非お話をしましょう。
