ぺこのーと2

落書き帳

Hadoop/Spark Conference Japan 2016 に行ってきました

 Hadoop/Spark Conference Japan 2016

Hadoop / Spark Conference Japan 2016(2月8日、東京)の講演・LTのプログラム | 日本Hadoopユーザー会

ずっとHadoopに触れてなくて悩みましたが、現状認識のために参加してきました。
ぼくの最後の記憶はspark-0.9のsample。。。
以下のセッションを聴いてきました。
途中午後1で仕事っぽい打ち合わせ的なものがあったので一時退席。
(お弁当食べられず>_<)

□ Keynote
 ● ご挨拶、Hadoopを取り巻く環境2016 濱野 賢一朗 (日本Hadoopユーザー会, NTTデータ
 ● 
Hadoopの現在と未来 鯵坂 明(Hadoopコミッタ)、小沢 健史(Hadoopコミッタ)
 ● 
Yahoo! JAPANのデータプラットフォームの全体像と未来 遠藤 禎士(ヤフー)
 ● 
Hadoopのストレージの現状と展望 Todd Lipcon(Cloudera)
 ● 
Spark Conference Japanの開催にあたって 猿田 浩輔(Apache Sparkコミッタ)
 ● 
Spark 2.0: What's Next Reynold Xin(Databricks)
 ● 
さくらインターネットが構築した、Apache Sparkによる原価計算システム 須藤 武文(さくらインターネット
 さくらインターネットが構築した、Apache Sparkによる原価計算システムの仕組みとその背景 須藤 武文(さくらインターネット
 Deep Dive into Project Tungsten Reynold Xin(Databricks)
 Hive on Sparkを活用した高速データ分析 加嵜 長門DMM.comラボ)

 

さくらインターネットさんの事例が一番印象に残りました。
● 自社の課題は何か、
● それを解決するにはどうするのか、
● それにはHadoopが必要なのか、
● どのように解決していったのか、
● MapReduceからSparkへの移行はどうだったか、
が分かりやすかったです。
Asakusa Frameworkを使うことで業務に専念できたのだろうというのもあるかと。
MapReduceからSparkへの移行もAsakusa Frameworkがやってくれた。
生データサイズとしてはそれほど大きなサイズではないように見えたが、いわゆる「なめる」処理があり、データ量としては多い。
それを解決するためにHadoopだと。

また、HadoopやSparkを学んでいこうと思いました。

おわり。