Monitoring at the Speed of Cloud Native: Move Fast and DONT Break Things

schedule Apr 10th 05:00 - 05:45 PM place Hall A people 3 Interested

With the rise of microservices, serverless, and all things cloud native, we’ve seen a huge explosion of tooling and solutions rise from tens of thousands of developers and operators seeking to make the rapid deployment of software effortless. This ecosystem introduces a new complex set of problems that come when development teams see an exponential rise in features/changes shipped.

In this talk we’ll cover how organizations who deploy software changes almost daily (or more frequently) are handling the discovery of performance regression and bugs in production using metrics and data gather by distributed tracing solutions. We’ll talk about why automating your monitoring and leveraging AI and Machine Learning to give deeper insights into your operations is the future of observability, and how these tools have already enabled organizations to move fast and NOT break things.

 
2 favorite thumb_down thumb_up 0 comments visibility_off  Remove from Watchlist visibility  Add to Watchlist
 

Outline/Structure of the Talk

  • Define the Problem - Microservice Architecture creates complexity and an overwhelming amount of monitoring data
  • Demonstration of the Problem - Show examples of large microservice deployments and show the amount of telemetry data these produce
  • Demonstrate the Solution - Show tooling which aggregates and visualizes this tremendous amount of data - Prometheus, Jaeger, and how managed solutions add additional value

Learning Outcome

Attendees should walk away with a better understanding of both the cognitive and physical complexity introduced with Microservices. They'll learn more about how open source tooling can help address some of these problems, and how vendor solutions can aggregate this tremendous amount of data, analyze it, and give insight and real action items to help solve latency, caching, and database problems.

Target Audience

DevOps Engineers, Software Developers, IT Administrators

Prerequisites for Attendees

Basic understanding of the SDLC

schedule Submitted 2 months ago

Public Feedback

comment Suggest improvements to the Speaker

  • Liked Gene Kim
    keyboard_arrow_down

    Gene Kim - Lessons Learned Since The Phoenix Project

    Gene Kim
    Gene Kim
    Founder
    Tripwire
    schedule 3 months ago
    Sold Out!
    60 Mins
    Keynote
    Beginner

    I’ve learned so much since The Phoenix Project came out in 2013. In this talk, I will share my top learnings while co-authoring The DevOps Handbook with Jez Humble, Patrick Debois, and John Willis and the recently-released Accelerate with Dr. Nicole Forsgren and Jez Humble. I’ll talk about the latest findings from the State of DevOps Report, the true importance of deployment lead times, how DevOps truly transforms the lives of Dev and Ops, what I learned about Conway’s Law, and how DevOps is a subset of dynamic learning organizations, of which Toyota is the most famous. This project was one of the most fun and rewarding adventures of my life, and I want to share some of my biggest a-ha moments!

  • Liked David Bernstein
    keyboard_arrow_down

    David Bernstein - Five Development Practices for Agile DevOps

    David Bernstein
    David Bernstein
    Owner
    To Be Agile
    schedule 3 months ago
    Sold Out!
    60 Mins
    Keynote
    Beginner

    These five development practices are core to Extreme Programming (XP) and essential for DevOps—automating the build for continuously integrating software as it is written, collaborating with team members through pair programming, practicing Agile design skills that enable testability, using test-first development to drive design, and refactoring code to reduce technical debt. Together, these five technical practices are proving to be essential for sustained success with Agile DevOps. However, many teams haven’t been exposed to the benefits of these practices or understand how to use them effectively. David Bernstein explores these engineering practices and their use in reducing risk and building quality in at every level of the development process. He makes the business case for these practices by showing how they address the inherent risks and challenges of building software. David then examines how these XP practices help us address the core issues of software development.

  • Liked Takeshi Arai
    keyboard_arrow_down

    Takeshi Arai / Kota Mikawa - トラディショナルな企業でズンズン歩んだ積み木細工のDevOps

    45 Mins
    Talk
    Beginner

    積み木細工(またはジェンガ)とプレハブ

    技術とオペレーションとチーム開発と文化醸成をビジネスの視点を持ちながら、そしてoutcomeを意識しながら実践していった話をさせていただきます。

    同時多発的にアジャイル、カンバン、クラウド、カイゼンをガシガシとチーム単位で導入していったら会社のカルチャーも変わっていきました。ある種積み木のように、意欲のあるメンバーがそれぞれに積み上げて、受け入れられたものが根付いています。今振り返るとこれをDevOpsと言っても良いのかも。

    43年続いているトラディショナルな企業でも、そしてプレハブのように型通りの導入でなくとも、ボトムアップからここまでできるんだという事例とその術を伝えられたらと思います。

  • Liked Mitsuyuki Shiiba
    keyboard_arrow_down

    Mitsuyuki Shiiba - サービス運用を考えながら開発をするということ

    20 Mins
    Talk
    Beginner

    サービス運用を考えながら開発をするということについてお話します。

    僕は、楽天の大阪支社でウェブアプリケーションエンジニアとして仕事をしています。実はDevOpsという言葉を聞いてもいまいちピンと来ないなぁと思っていたのですが、それは僕のいる部署が1つのチームでサービスの開発と運用の両方をやっているからだなと気づきました。

    サービスの開発と運用の両方をやっているため「運用を考えて開発をする」ということを考えやすい環境にあると思います。運用のことを考えずに開発をすると全てが自分たちに跳ね返ってくるからです。

    新しいエンジニアが入ってくると「運用のことを考えながらコードを書くんですよ」って話をして設計やコードのレビューをするし、新しいプロデューサーに対しては「ビジネスの運用が回るかどうか考えましょう」って一緒に話をします。

    このセッションでは、サービスの運用を考えながら開発をするときに、設計やコードでどのようなことを考えるか、テストやドキュメントをどのように残すのか、ビジネスの運用について何を考えるか、について自分の経験を元にお話したいと思います。

  • Liked Hideya Ikeda
    keyboard_arrow_down

    Hideya Ikeda - 富士通のSIプロジェクトがどのようにDevOpsに取り組んでいるか

    Hideya Ikeda
    Hideya Ikeda
    Manager
    FUJITSU LIMITED
    schedule 2 months ago
    Sold Out!
    45 Mins
    Talk
    Intermediate

    SIビジネスはなくなると言われ始めて数年、富士通のビジネスの中心はまだまだSIです。

    • ウォーターフォール、多層請負契約が中心のSIプロジェクトがDevOpsというテーマにどう取り組んでいるのか?
    • 富士通のSIプロジェクトは年間数千件。どのように標準化、適用推進活動をしているのか?
    • これらのSIプロジェクトでは、どんなツールを使って、どんなプラクティスを実践しているのか?
    • DevとOpsを隔てる壁へのアプローチは?
    • そして、今後SIビジネスがなくなっていくことにどう備えているか?

    こういった内容を泥臭い実践事例や苦労話を交えてお話ししたいと思います。

  • Liked Jean-Baptiste Vasseur
    keyboard_arrow_down

    Jean-Baptiste Vasseur / Masashi Arino / Tsutomu Yasui / Yasunobu Kawaguchi - Fun! Done! Learn! 〜 実験で学び、学びを喜び、喜びを成果につながるふりかえりを体験しよう!

    45 Mins
    Workshop
    Beginner

    Retrospective で Problem -> Solution をだすという KAIZEN のやりかたが、日本ではとても普及している。アリスターコバーンのアイデアに基づくKPT(Keep/Problem/Try)フォーマットは、日本ではデファクトと言っていい。みんな改善が大好きで、改善点が出ないようなふりかえりは意味がないとすら思っている人もいるくらい。

    アジャイルコーチたちはスクラムマスターからこんな相談をよく受ける。「ふりかえりでの悩みがあります。改善点がでないんです。」「でてきた改善点がちっとも解決されないんです」「改善しないのでふりかえりをやめてしまいました」

    日本での長いコーチングの経験に基づき、私たちは改善を中心にしたふりかえりには問題がいくつかあることを発見した。
    1. 暗くなること
    2. 改善点は仮説であり、実現可能かどうかはわからないこと
    3. だから、いくらでもアイデアを出せるし議論ができてしまうこと
    4. 同じような課題や改善点が残り続けることで、人々がポジティブになれなくなっていくこと

    これらの問題によって、ふりかえりが長時間になってしまったり、疲れてもうやりたくないと思ったり、楽しくない、と思うようになってしまうことが、よくあるのだ。チーム自身がふりかえりを行うので、ミーティングが長くなれば、作業にかけられる時間が減ってしまう。楽しくもないし改善もしないようなふりかえりなら、やめてしまうのが解決策なのだ!

    Linda Rising の Positive Retrospective というアイデアを発見した。LindaはProject Retrospective の第一原則を参照し、まずこれまでやってきたことを肯定することからはじめ、その上で代替案を出していこう、ということだった。

    そう、私たちはまず、チームがこれまでになにができたかを確認するセレモニーをやらなければならないのだ。Fearless Change における Small Successes パターンのように。Scrumがいうベロシティが意味するチームの能力、現在位置を確認し、完了/実験と成長と学びを喜ぶセレモニーが必要なのだ。チームメンバーがそれぞれ成し遂げたことを確認し、何に喜び、何を学びと感じたのかを共有しあう。

    私たちはこのふりかえりにあたって、壁に貼る、一つのフォーマットを考えた。Fun! Done! Learn! である。このフォーマットの特徴はベン図になっていることだ。複数の要因にかかる要素を示すことができる。例えば楽しく新しいやり方を覚えたのなら、Learn!かつFun!とすることができる。

    多くの場合、学びは喜びだ。チームは継続的な学びを繰り返してどんどんよくなっていく。そしてそれは喜びにも繋がる。喜びはチームの燃料になる。チームはまた、より多くのDoneを生み出していく。

    当初私たちはDoneではなく、Deliveryという言葉を使おうとした。ただリズムがよりよいDoneを使おうという話になった。Regional Scrum Gathering Tokyo で Hunter Industries の Chris Lucian が実験について講演した。そうだ、実験だ。私たちは Done の中に実験も含めるべきだと気づいた。

    このフォーマットについて Tsutomu Yasui がブログに書いたところ、数週間のうちに日本中で Fun! Done! Learn! が行われるようになった。ブログやfacebookで毎週のように「やってみたよ!」という報告が届いている。Regional Scrum Gathering Tokyo でも Kazuki Mori が Fun! Done! Learn! のボードを作ったところ、貼りきれないほどのポストイットが壁を埋め尽くした。

    私たちはなぜここまで Fun! Done! Learn! が人々にポジティブな効果をあたえるのか、科学的なエビデンスをまだもっていない。しかし、このムーブメントになにか重要な発見があるのではないか?とすら思うようになった。

    DevOps Days Tokyoの場で Fun! Done! Learn! をやることで、この現象が様々な現場でどのような結果に繋がるのかを実験したい。ぜひ、皆さんの職場に持ち帰って実験してほしいと考えている。実験はDone!でありFun!であり、Learn!につながる。まさにアジャイルなマインドセットを Fun! Done! Learn! が呼び起こし、見える化するのではないかと考えている。

    この最新のレトロスペクティブについて皆さんに共有し、フィードバックをいただければと考えている。

  • Liked Edward Thomson
    keyboard_arrow_down

    Edward Thomson - How We Moved 75,000 Microsofties to DevOps in the Cloud

    45 Mins
    Talk
    Beginner
    How do you migrate over 75,000 of the most demanding software engineers from infrastructure built up over decades of high-intensity work into a common engineering system based on modern software development technologies and best practices? This is exactly the challenge faced by Microsoft as they moved to their One Engineering system, a globally distributed 24x7x365 service hosted in Azure DevOps. Edward Thomson will explain how we did it, the lessons that we learned along the way, and some of the technical challenges that still remain.
  • Liked Jan Schilt
    keyboard_arrow_down

    Jan Schilt - How the Phoenix Project simulation supports DevOps mindset change

    Jan Schilt
    Jan Schilt
    CSD
    GamingWorks BV
    schedule 2 months ago
    Sold Out!
    45 Mins
    Others
    Intermediate

    We ran 100+ DevOps simulations around the world for many large organizations. Our partners did 1000+ in the last 3 years. We experienced a lot of key fail and succes factors during the DevOps journeys. We capture all the outcomes in this presentation. DevOps requires a mind shift for most of the employees. We call this a 'new way of working' in which Old Thinking and Old Doing, will be replaced by New Thinking and New Doing. This is a process of years. But with simulation we can make a real good first step in his journey.

    We will present how this new way of working looks like, and why it's so difficult to change.

    We will present how DevOps benefits from learning by doing and how to bring this new way of working a live by changing the mindset.

    We also show some real cases how large organisations like ABN AMRO, NXP, APG etc used simulations to change the mindset of the employees.

    We also will explain the management of change aspects that plays an important role during this transformation.

  • Liked Masato Ishigaki
    keyboard_arrow_down

    Masato Ishigaki - Data-Driven x DevOps

    Masato Ishigaki
    Masato Ishigaki
    Product Owner
    DMM.com
    schedule 3 months ago
    Sold Out!
    20 Mins
    Talk
    Beginner

    ユーザーエンゲージメントを高める中で『データ駆動』という考え方は非常に重要です。
    常にプロダクトの状態をデータドリブンで数値化・定量化して、プロダクトがきちんとGrowthしているか、あるいはしそうかどうかを判断・予測しなければなりません。

    データが『駆動』するとは、データを見ることで次の行動につながることです。また、優れた指標をもとにデータを集めなければデータは駆動しません。

    データ駆動を使ったプロダクト戦略を行ううえで、優秀なフレームワークとして『リーンスタートアップ』といった考え方があります。リーンキャンパスやBMLループなどを使って、仮説検証からデータ計測→学習を高速に回し、次の仮説を立案し、いち早くプロダクトをProduct Market Fitに到達させる必要があります。

    こういった仮説から学習のループをすばやく回すには、DevOpsをどう効率よく回しどういったデータを計測してモニタリングしていくかがとても大事になってきます。 間違った指標(データ)では、学習ができないからです。

    今回は、データが駆動する優れた指標の見つけ方から、DMM.comの多様なサービスから月数万のレビュー投稿されるユーザーレビュー基盤のプロダクト実例をもとにデータ駆動戦略についてお話できればと思います。

  • Liked Kohsuke Kawaguchi
    keyboard_arrow_down

    Kohsuke Kawaguchi - Wasted Gold Mine & What Data Can Do To DevOps

    Kohsuke Kawaguchi
    Kohsuke Kawaguchi
    CTO
    CloudBees, Inc.
    schedule 1 month ago
    Sold Out!
    20 Mins
    Talk
    Intermediate

    As CTO of CloudBees and the creator of Jenkins, I get to see lots of real-world software development. Our automation in software development is sufficiently broad that it is producing lots of data, but by and large most of those are simply thrown away. Yet at the same time, the management is feeling like they are flying blind because they have little insight! In this talk, Kohsuke will discuss how we collectively seem to miss the golden opportunity to improve the software development process itself, based on data. IOW, learning is lacking at the organizational level, let alone "machine" learning!

  • Liked h-arai
    keyboard_arrow_down

    h-arai / Kenta Sasa - Value Stream Mapping ワークショップ

    120 Mins
    Workshop
    Beginner

    Value Stream Mapping ワークショップです。 Value Stream Mappingを使ったプロセスの見える化・カイゼン案の検討を実際に体験してみましょう。

    Value Stream Mapping = ソフトウェア開発工程の流れ(価値の流れ)を見える化するために作成するプロセス図です。アイデアが生まれてから顧客に対して価値が届くまでの全行程を見える化することによって、ムダな作業や非効率なフローをチーム内で共有することができるようになるため、カイゼンに役立てることができます。

    4、5人でグループを作ってグループワークを行います。Value Stream Mapping が描けるようになるだけではなく、チームで作った時の効果も感じられると思います。

  • Liked David Nguyen
    keyboard_arrow_down

    David Nguyen / Michael Migliacio - Design an Enterprise Library for React Components

    45 Mins
    Talk
    Advanced

    There are an increasing number of engineering teams adopting React to build their e-commerce solutions, or high performance single page applications for any business sectors.

    As the adoption increases, there is also the need to create, and publish reusable react components to share across teams. Come join David and Michael to hear how their web UI/UX engineering team laid the foundation for this effort. They will review the process through which, the core decisions were made. The presentation will discuss the options and considerations for a component library development environment. They will share important lessons learned while exploring the many ways of handling style and themes for reusable components and the tradeoffs. Audience will learn the importance of automated testing for the components created, as well as continuous integration to assure no one breaks the build. Finally, they will share about component publishing, what they had to consider prior to distribution, whether to an internal or public repository for consumers.