Mesosphere : Microservices meet Fast Data on Azure

Sign in to queue

Description

資料: Mesosphere : Microservices meet Fast Data on Azure [PDF]

Jorg Schad
Mesosphere, Inc.
Software Engineer

今日、データ解析に対する需要は高まり、速度も強く求められています。例えば詐称検出やセンサデータへの対応など、多くの場合従来のバッチ処理では処理時間が遅いため要望に応えられません。このようなイベントに対しほぼリアルタイムで処理を行うために、Apache Spark Streaming, Apache Flink, Apache Storm などのストリーム処理を利用する事で大幅な改善ができます。しかし一方でこれらを単体で利用した場合は、十分ではありません。効果的でかつフォールト・トレラントなシステムにするためにはメッセージ・キューやストレージシステムとの連携も必要です。そしてこのような高速なデータ・パイプラインを実現するために SMACK スタックの利用例があります。

● Spark (Streaming) - the stream processing system
● Mesos - the cluster orchestrator
● Akka - the system for providing custom actors for reacting upon the analyses
● Cassandra - storage system
● Kafka - message queue

本セッションでは、高速なデータ・パイプラインの構築のためのベストプラクティスについてご紹介し、DC/OS 上でデモを交えながらこれらをご紹介します。

Day:

2

Level:

300

Track:

DevOps

Code:

DO16

Embed

Download

Download this episode

The Discussion

Add Your 2 Cents