• 2016年10月24日(月) 10:30 ～ 17:30

１．イントロダクション　-Apache Sparkの概要
　（１）．データ分析の歴史的な経緯と変化
　（２）．近年のデータ分析の変化とスケールアウト分析プラットフォームの課題
　（３）．各分析プラットフォームの特徴
　（４）．Apache Hadoopとエコシステム
　（５）．Apache Sparkの開発経緯と利点(RDD、DAG)
　（６）．Apache Sparkの適用分野
　（７）．Apache Sparkの今後。Project Tungsten
　（８）．Apache Sparkの導入

２．Spark SQLによるSQL分析
　（１）．Spark SQLによるSQL分析の利点とデータソースの選択
　（２）．ローカルファイル(JSON/CSV/Parquet)の読み込み/書き込み
　（３）．HDFSからの読み込み/書き込み
　（４）．MongoDBからの読み込み/書き込み
　（５）．RDD、Data Frame
　（６）．transform関数、action関数、遅延評価、shuffle処理

３．Spark Streamingによるストリームデータ分析
　（１）．ストリームデータとは
　（２）．ストリームデータ分析手法の違い
　（３）．サンプルアプリケーション：Twitterストリーム分析
　（４）．Apache Sparkにおけるウィンドウ処理。マイクロバッチ
　（５）．ストリーム処理に関する周辺テクノロジー

４．Spark MLによる機械学習
　（１）．機械学習と人工知能の違い
　（２）．機械学習のディープ・ラーニング
　（３）．サンプルアプリケーション：映画のリコメンド
　（４）．教師データ、テストデータ、評価関数
　（５）．Apache Spark以外の機械学習ライブラリ

５．GraphXによるグラフデータ処理
　（１）．グラフデータとは何か。グラフデータによって何がわかるのか
　（２）．サンプルアプリケーション: サッカーチームのパス分析
　（３）．グラフデータ分析関数
　（４）．Apache Spark以外のグラフ分析フレームワーク、グラフデータベース

日本テクノセンター研修室