[Video] Measuring Software Delivery and Operational Performance to improve commercial outcomes

location_city Tokyo schedule Apr 22nd 03:00 - 03:45 PM JST place Hall A people 5 Interested

In this talk, I summarize the evidence that shows how engineering performance drives commercial performance, including Visma's own internal research. I'll show why and how we measure Software Delivery and Operational Performance across ~100 teams and how we use it to improve commercial results.

 
 

Outline/Structure of the Talk

Quick overview of evidence that shows how engineering performance drives commercial performance

How Visma interprets and measures the SDOP metrics: Lead Time, Deployment Frequency, Change Failure Rate, Time to Restore and Availability.

Results from our research. How we use results to improve.

 

Learning Outcome

Many may want to start measuring SDOP, but will face practical challenges around how the metrics should be measured. Our experience will make it easier to understand how it can be done, and the value of doing so.

Target Audience

Suitable for a general audience, but especially those who is aware of the Accelerate book and the State Of DevOps reports and would like to take the next step.

Prerequisites for Attendees

Nothing. Awareness of Accelerate or State of DevOps or technical knowledge is not required.

Video


schedule Submitted 8 months ago

  • 60 Mins
    Keynote
    Beginner

    We'll talk about Team Topologies and related topics.

  • Kenta Sasa
    keyboard_arrow_down

    Kenta Sasa / Hiroki Arai - Welcome to DevOpsDays 2022!

  • Satoshi Yokota
    keyboard_arrow_down

    Satoshi Yokota / Tadahiro Yasuda - 価値あるソフトウェアをすばやく届けるために僕らがやってきたこと 〜経営者による組織とカルチャー作り〜

    60 Mins
    Keynote
    Beginner

    クラスメソッド株式会社とクリエーションライン株式会社の社長二人が、お互いが経験してきた生々しい話を赤裸々にお話しします。

  • クリス Chris Lucian
    keyboard_arrow_down

    クリス Chris Lucian / Alex Papadimoulis - Chris Lucian: Interview with Q&A

  • Kenta Sasa
    keyboard_arrow_down

    Kenta Sasa / Alex Papadimoulis - Welcome to DevOpsDays 2022, Day Two!

  • mesut durukal
    keyboard_arrow_down

    mesut durukal - Common Pitfalls and Life-saving Solutions in Agile Testing

    mesut durukal
    mesut durukal
    QA Automation Engineer
    Indeed
    schedule 7 months ago
    Sold Out!
    90 Mins
    Keynote
    Beginner

    Motivation: I have experienced a lot of challenges in both technical and social manners and tried to develop solutions to cope with them throughout all the testing activities that I was involved in. Eventually, I have wrapped them up to make a list of common pitfalls which can be encountered by any tester and some golden rules to successfully get rid of them and manage a test project. 

    The most common problems are:

    • In continuous testing environments, due to time pressure, sometimes Quality focus may be shifted. How can we ensure to stick to the correct mindset even under stress?
    • While trying lots of approaches, how can we optimize the best way? How can we decide to go with it? How can we monitor the progress, trends and results of each single POC?
    • Test Reliability & Test Smells
    • Efficiency

    Some fundamental solutions are:

    • Being truly agile: Adapt new solutions quickly.
    • Manage the progress: Be aware of what is going on by setting KPIs to track & monitor with tools like CloudWatch, Grafana
    • Technical part: Automation principles for the sake of robustness. Solutions to reduce flaky tests & analysis effort & costs.
    • Holistic testing!

     

  • Yoshiyuki Ishikawa
    keyboard_arrow_down

    Yoshiyuki Ishikawa / Kei Tanahashi / Yosuke Kushida - カオナビのDevOps実践 ~ 運用自動化・テスト自動化の秘訣 ~

    45 Mins
    Sponsor Talk
    Beginner

    カオナビでは、自社システムの運用・保守を日々行っていく中で、定常業務を手動で対応してきました。
    しかし、開発規模・運用規模の拡大に比例して作業量も増加し、手動での運用に限界を感じるようになっていました。

    起きていた問題としては、主に
    ・「運用でカバー」する事による作業時間の圧迫
    ・自動テストの整備不足による手動テスト工数増加
    ・手作業によるヒューマンエラーリスク
    です。

    この問題の解決策を模索していく中で、DevOpsという単語をよく見るようになりました。
    開発部門の中でも2020年頃からDevOpsへの関心が高まり、積極的に自動化・見える化・効率化に取り組むようになりました。

    その中でも、特に注力したのが下記の3点です。
    ・業務自動化用サービスサイトの開発
    ・リリース自動化
    ・E2Eテスト開発

    本セッションでは、上記対応を進めていく中で、発生した課題とそれに対する有効な取り組み、取り組んだ結果得られたものについてお話します。

  • hagevvashi dev
    keyboard_arrow_down

    hagevvashi dev - 食べログのソフトウェアテスト自動化デザインパターン

    20 Mins
    Talk
    Intermediate

    食べログは誕生してから17年の歴史を持つプロダクトとなりました。
    そのプロダクト開発はすべて自社開発で、開発もQAもすべて自分たちで行ってきました。
    しかしながら、一般的なQA組織が食べログにできたことがなく、開発者が開発とQAどちらも行ってきました。

    そのため、食べログではテスト自動化前、手動テストにおいて

    • コード修正後のフィードバックが遅い
    • テストが再利用できない

    と言った課題があり、テストの負担が大きくなりがちでした。

    このテストの負担を減らすため、QA専門の組織を立ち上げ、テスト自動化の導入をすることにしました。
    テスト自動化を導入するにあたって、テストが不安定になるなどのいくつかの課題が生じましたが、戦略的にテスト自動化を導入し解決しました。

    本セッションでは、食べログにテスト自動化を導入する際に生じた課題と解決策を

    • アーキテクチャ設計
    • パイプライン設計
    • フレームワーク設計
    • テストケース自動化設計
    • インフラ設計

    などのテスト自動化導入パターンとしてまとめました。
    このパターンをもとに、テスト自動化導入を成功させる秘訣を紹介します。

  • Shohei Ishikawa
    keyboard_arrow_down

    Shohei Ishikawa - BIMから建設DXへ -DX に向かうために、何を伝えるべきか

    45 Mins
    Talk
    Beginner

    2010年代、多くのウェブサービスが登場するなどOSSをベースに情報化社会が一気に進みました。一方、建設業界ではBIM(Building Information Model)と呼ばれる業界独自のデジタル化が行われてきました。しかし2020年代、建設業でもDXの波が訪れ「BIMから建設DXへ」と大きな変化が起きています。
    本セッションでは、ソフトウェア企業がプラットフォームサービスへと変化するにあたりユーザーにこのDXへの潮流の意味をどのように伝えるべきかという問題への取り組みを、DXの資料を元に解説します。

  • kamo shinichiro
    keyboard_arrow_down

    kamo shinichiro / Hiroyuki TAKAHASHI / Yasuko NAITO - ファクトから始めるカイゼンアプローチ ~「LeanとDevOpsの科学」を実践して~

    45 Mins
    Talk
    Intermediate

    カイゼンを進めてみたものの、よくなっている感触を得られずカイゼン活動が続かなかった経験はありませんか?
    これはファクトを十分に集めずに進めてしまったことが要因の一つと言われています。

    「LeanとDevOpsの科学」という書籍ではfour keysと呼ばれるパフォーマンス指標や、four keysの改善促進が高いとされるケイパビリティが紹介されており、現在私たちは、これらの指標を計測し、ファクトを元により良く、速く、安全にプロダクト開発を続けていくことを目指しています。

    特にfour keysの計測方法を紹介した記事は一定あるものの、実際に計測できるのか?、計測結果をどう活かしているのか?
    など疑問に感じている方もいるのではないでしょうか。
    今回のセッションではLeanとDevOpsの科学を実践して収集したファクトからどのようにカイゼンを進めているか、事例や書籍では読み取れない実践する上での勘所をお話します。
    ビズリーチではファクトを元にカイゼンをする文化をつくろうとしており、今回の話はその一つです。

  • Yuki Nishimura
    keyboard_arrow_down

    Yuki Nishimura - Airワークのサービス拡大に向けて課題を対応する中で見えたDevOpsの重要性と歩み

    45 Mins
    Talk
    Beginner

    昨年より「Airワーク 採用管理」のサービス拡大に伴いアーキテクトとしてシステム改善に関わりました。
    Airワークはクラウド(AWS)で構築されたサービスで参画当初以下のような問題がありました。

    • DB負荷が不定期に高騰する
    • アラート通知が月1000件以上発生
    • AWS障害発生 → 再発対策の流れがうまく回ってない
    • モニタリング基盤はあるものの何を見るべきかの更新がされていない
    • デプロイ、切り戻しに時間がかかる

    オンプレでの開発・運用経験を活かして、課題は一通り対応してシステムにはいっときの平穏が訪れました。
    しかし、この平穏はそう長くは続かないという予想もしていました。
    長期にわたる平穏のためには何が必要でしょうか。そんな時、対応していた時の気づきを思い出しました。

    「これらの問題、アプリの問題は開発チームで解決することができたはずだし、インフラチームは専任でいてインフラの問題も解決できたはずだ。解決できたはずの問題が未然に防げなかったのはなぜだろう」

    ここで、クラウドのような変化の激しい基盤では特にDevOpsが重要になると気づき、アプローチを始めていきました。

    このセッションではAirワークで実施した運用課題の改善事例とそこから得たシステム運用を安定化させるための実践トライ, 考え方についてお話ししようと思います。

  • Yukio Okajima
    keyboard_arrow_down

    Yukio Okajima / Yotaro Sato - コンプライアンス対応をチームの力に ~ 監査人が考える今後のDevOps

    45 Mins
    Talk
    Intermediate

    特にエンタープライズな領域で、DevOpsやアジャイルの適応範囲が広がるに従い、コンプライアンス要件への対応に苦労されているチームは増えているのではないでしょうか?
    例えば、次のようなお悩みです。

    • コンプライアンス要件では開発者と運用者の分離が求められているが、それでどうやってDevOpsするのか?
    • コンプライアンス要件では役職による承認を求めるが、それでどうやって自動化されたパイプラインを構築するのか?

    本来、コンプライアンス対応はビジネスの一部です。上手に対応することで、競合他社を一歩リードすることができます。しかし、このような状況が続いてしまうと、チームはスピードとモチベーションを失い、DevOpsで目指すビジネスの価値が損なわれてしまいます。

    そこで、DevOpsチームのコンプライアンスへの向き合い方について示唆を提供すべく、PwCの監査人と永和システムマネジメント Agile Studio のエンジニアが協力し、DevOpsとコンプライアンスを共存させるためのレポートと参照実装を公開させていただきます(※ 正式公開は3月頭の予定)。

    このセッションでは、実際にレポートをまとめたPwCの佐藤さんをお招きします。参加者からの、コンプライアンス対応における具体的な悩み事に直接お答えいただくことで、DevOpsチームがどのように対応できるのか、皆様と一緒に考える時間にしていきたいと思います。

  • mesut durukal
    mesut durukal
    QA Automation Engineer
    Indeed
    schedule 7 months ago
    Sold Out!
    45 Mins
    Talk
    Beginner

    Do bugs speak?

    Yes, they do. People speak different languages like English, German, French, Chinese etc. But is communication to bugs possible? It is important to understand them, because they really tell us something. There is valuable information underlying the defects of a software, and information mining from defects promises for improvements in terms of quality, time, effort and cost.

    Problem Definition

    A comprehensive analysis on all created defects can provide precious insights about the product. For instance; if we notice that a bunch of defects heap together on a feature, we can conclude that the feature should be investigated and cured. Or we can make some observations about the severity or assignee of similar defects. Therefore, there are some potential patterns to be discovered under defects.

    Wrap-up

    Defect analysis is very important for QA people, and especially for QA managers. We utilize lots of aspects to get an idea about the product itself or our procedures. For instance while monitoring defect distribution across testing types, we will discuss how to get an idea about the quality of our testing approach. I.e whether we are applying all types in a balanced way. (functional, performance, documentation, etc.) Or over another graph, in which we track the gap between open defects and resolved defects, we will discuss what action items we can take when the gap widens. Finally, with ML assistance, we will see how we can reduce manual effort and cost.

    Results & Conclusion

    In this session, we discuss data mining from bugs and usage of ML in defect management. Objective of the study is:

    • To present in which ways defects can be analyzed
    • To present how ML can be used to make observations over defects
    • To provide empirical information supporting (b)

     

  • 45 Mins
    Talk
    Beginner

    DevOpsは論文が大量に出るまでに成長した概念になりました。書籍を読めどもまだまだ実践が不足している自分は論文を200本前後読んでみました。そこで今回はDevOps素人かもしれませんが、DevOpsについて言及されている論文を100本紹介します。

  • Kouta Ozaki
    keyboard_arrow_down

    Kouta Ozaki - 開発チームにオーナーシップを委譲するという手法

    Kouta Ozaki
    Kouta Ozaki
    SRE
    Chatwork Co., Ltd.
    schedule 5 months ago
    Sold Out!
    45 Mins
    Talk
    Intermediate

    皆さんのチームはシステムデリバリのアジリティを最大化できていますか?
    現代の開発ではコードの負債、複雑なコミュニケーションパス、ボトルネックの存在など、いろんな要素によって簡単にアジリティの低下を招いてしまいます。

    Chatworkでは現在、アジリティを最大化するために次世代開発基盤の開発を行なっており、組織とシステムを刷新しアジリティを最大化しようと取り組んでいます。
    この中の取り組みの一つとして、開発者にシステム開発のオーナーシップを委譲することでコミュニケーションパスの最適化、責任の所在の明確化を行います。

    しかし、一口にオーナーシップを渡すといっても障壁はいろいろとあります。
    特にセキュリティや監査、信頼性などの考慮は一定の規模に育ったChatworkでは必ず確保しなければなりません。
    この課題を解決するためにChatworkではDevOpsの手法を使った開発者へのオーナーシップの委譲を推し進めていくという選択をしました。


    本セッションではChatworkがなぜその選択をしたのか、どのように実現をしているのか、難しさや課題としてどういうものがあるのかという話をSREの視点からぶっちゃけトークをしていきます。(怒られたらマイルドな内容になります)

  • Yotaro Takahashi
    keyboard_arrow_down

    Yotaro Takahashi - 右手にThe DevOpsハンドブック、左手にクックブック

    45 Mins
    Talk
    Intermediate

    タイトルは「もしも食べ専エンジニアがThe DevOps ハンドブックを読んだら」など、ほか候補やより良いアイデアがありそうかなと思っていますのでぜひコメントでご意見ください!

     

    私は妻と小学生の男の子二人、トイプードルの娘の5人暮らしなのですが、我が家の料理隊長である妻がアメリカに1年間行くことになりさぁ大変! 食べ専エンジニアの私が残された4人分の3食を毎日なんとかすることになりました!

    食べ専から日々の料理を作ること、いやいや作ることと食べることだけではなく後片付けや調達、作ることとそれにまつわる運用、、、

    あれ?これってDevOpsの原則が参考になるんじゃない?

    というわけで手に取ったのが仕事で過去手に取った『The DevOps ハンドブック 理論・原則・実践のすべて』です。

    このセッションでは、The DevOpsハンドブックに記載されている3つの道、すなわち①フローの原則、②フィードバックの原則、③継続的な学習と実験の原則、を通して、料理のワークフローの中でどのようにDevOpsの原則を実践してきたかの体験談をお伝えします。

  • Ryusuke Kimura
    keyboard_arrow_down

    Ryusuke Kimura - レガシーなシステムをリプレースした後に起きた開発組織の変化について

    Ryusuke Kimura
    Ryusuke Kimura
    System Architect
    VisasQ
    schedule 6 months ago
    Sold Out!
    45 Mins
    Talk
    Advanced

    2020年2月私が入社した時、システムは現代のモダンなシステムとの剥離が出てきている狭間でした。

    一方、会社はその後、すぐに上場をして、一気に組織の人数が増加しました。

    システムも社会的責任を果たせるようにアップデートをしなくてはいけないのは自明で、「必要最低限のアップデートをする」という選択ではなく、「全てを作り直す」という選択をして、システムリプレースを行っています。

    新しいシステムはモノリシックからマイクロサービス化に変更しましたが、私はマイクロサービス化に伴う組織的な変化、いわゆるコンウェイの法則を期待してマイクロサービス化の採用をおこないました。

    本セッションでは、マイクロサービス化を行った後に起きた開発組織の変化について赤裸々にお話できたらと思っています。

     

  • Kohsuke Kawaguchi
    Kohsuke Kawaguchi
    Co-CEO
    Launchable, Inc.
    schedule 7 months ago
    Sold Out!
    45 Mins
    Talk
    Intermediate

    フレイキーなテストは、根絶できない疫病のように昔から開発者をずっと悩ませ続けてきました。皆さんの開発チームでも、目にはついていなくても、フレイキーなテストがイライラを引き起こしたり、プルリクエストを失敗させたり、ホットフィックスの開発にストレスを上乗せしたり、必ずしているはずです。

    この問題に世界中の技術者達がどのように立ち向かってきたのか、Jenkinsの開発者としても有名な川口が紹介します。GoogleやGitHubのようなユニコーン会社から、もっと身近な等身大の会社まで、どういった取り組みが効果を上げてきたのかを見ていきます。皆さんの会社での取り組みにもきっと役に立つはず!

  • Yasunobu Kawaguchi
    keyboard_arrow_down

    Yasunobu Kawaguchi - DevOps の源流 : Flickr 10+ Deploys per Day のトーク (2009年) を再訪する

    45 Mins
    Talk
    Beginner

    昨年の DevOpsDays 創始者 Patrick Debois さんのトークでも触れられた、DevOpsという言葉ができるきっかけになった2009年の講演「10+ Deploys per Day」をとりあげます。その講演で何が語られたのか?について、短い時間でお伝えすることはしてきたのですが、今回は時間をちゃんと使って、話してみたいと思います。

    このトークの周辺の事情については私の過去のトークで、私の整理をお伝えしてきましたが、今回はこのセッションそのものをお伝えしまーす。

    DevOpsの時代
    https://speakerdeck.com/kawaguti/age-of-devops

    アジャイルとDevOps
    https://www.slideshare.net/kawaguti/agile-and-devops

    10+ deploys per day (動画)
    https://www.youtube.com/watch?v=LdOe18KhtT4

    10+ deploys per day (スライド)
    https://www.slideshare.net/jallspaw/10-deploys-per-day-dev-and-ops-cooperation-at-flickr

     

  • Gal Shelach
    keyboard_arrow_down

    Gal Shelach - SLA is for lawyers, SLO is where the money hides

    20 Mins
    Talk
    Beginner

    We have thousands of frontend servers in 7 data centers serving over 500k HTTP requests per second. They all expect to answer as quickly as possible to meet our SLA 

     

    Having said that, not breaking the SLA is one thing, but how to define the SLO is another. Let's say our SLA has a response time of p99 < 1000ms. This gives us a wide range where we can determine the SLO. This gives us a wide range where we can determine the SLO. 

     

    It may seem logical to set the SLO as low as possible. This way, we are less likely to break our SLA. What if I tell our customers that we have a magic feature that boosts revenue and only takes 400ms? Should we then define a different SLO? Maybe we should embrace the risk of breaking SLA from time to time but to have bigger revenue most of the time?

     

    My lecture will describe three systems we developed to utilize our system dynamically to gain an RPM-oriented SLO. Those are Java infrastructures we use internally to provide the most valuable responses to our customers within the limits of our Service Level Agreement.

help