近年、Four keysを導入し開発チームのパフォーマンスを計測しDevOpsによる開発生産性向上の効果の最大化に取り組む組織が増えている。Four keysを導入することで、クラウドやIaCなどの技術によるインフラの構築や運用作業などのソフトウェア化がチームにもたらす効果を測定し、効果的に生産性を改善することができるようになる。
本発表ではFour keysを自動テストの領域に展開し、自動テスト開発チームのパフォーマンスを計測する「自動テストのFour keys」を提案する。自動テストの領域では、テストエンジニアなどの受け入れテスト作業をソフトウェア化しパイプラインに組み込むことでテストプロセスの生産性を改善する。一方で、自動テストケース数が増大するとテスト実行時間が長くなってしまったり、Flakyテストによってテストの信頼性が低下するといった問題が発生したりする。
これらの問題を解決するため、食べログでテスト自動化に取り組んでいるSETチームでは「自動テストのFour keys」を定義し、それらを継続的に測定するための品質ダッシュボードを構築した。また、品質ダッシュボードをもとに自動テストのソフトウェアとプロセスの問題点を洗い出し改善した取り組みをご紹介する。