Hadoop/Spark Conference Japan 2016 に行ってきました
Hadoop/Spark Conference Japan 2016
Hadoop / Spark Conference Japan 2016(2月8日、東京)の講演・LTのプログラム | 日本Hadoopユーザー会
ずっとHadoopに触れてなくて悩みましたが、現状認識のために参加してきました。
ぼくの最後の記憶はspark-0.9のsample。。。
以下のセッションを聴いてきました。
途中午後1で仕事っぽい打ち合わせ的なものがあったので一時退席。
(お弁当食べられず>_<)
□ Keynote
● ご挨拶、Hadoopを取り巻く環境2016 濱野 賢一朗 (日本Hadoopユーザー会, NTTデータ)
● Hadoopの現在と未来 鯵坂 明(Hadoopコミッタ)、小沢 健史(Hadoopコミッタ)
● Yahoo! JAPANのデータプラットフォームの全体像と未来 遠藤 禎士(ヤフー)
● Hadoopのストレージの現状と展望 Todd Lipcon(Cloudera)
● Spark Conference Japanの開催にあたって 猿田 浩輔(Apache Sparkコミッタ)
● Spark 2.0: What's Next Reynold Xin(Databricks)
● さくらインターネットが構築した、Apache Sparkによる原価計算システム 須藤 武文(さくらインターネット)
□ さくらインターネットが構築した、Apache Sparkによる原価計算システムの仕組みとその背景 須藤 武文(さくらインターネット)
□ Deep Dive into Project Tungsten Reynold Xin(Databricks)
□ Hive on Sparkを活用した高速データ分析 加嵜 長門 (DMM.comラボ)
さくらインターネットさんの事例が一番印象に残りました。
● 自社の課題は何か、
● それを解決するにはどうするのか、
● それにはHadoopが必要なのか、
● どのように解決していったのか、
● MapReduceからSparkへの移行はどうだったか、
が分かりやすかったです。
Asakusa Frameworkを使うことで業務に専念できたのだろうというのもあるかと。
MapReduceからSparkへの移行もAsakusa Frameworkがやってくれた。
生データサイズとしてはそれほど大きなサイズではないように見えたが、いわゆる「なめる」処理があり、データ量としては多い。
それを解決するためにHadoopだと。
また、HadoopやSparkを学んでいこうと思いました。
おわり。