ビッグデータ連携 …BigQuery + R + MeCab
~新機能 BigQuery UDFの解説も含めて~
東京都 開催
会場 開催
開催日
-
2015年12月10日(木) 10時30分
~
16時30分
プログラム
ビッグデータの有効利用は、品質向上、コスト削減、特に購買履歴などのデータを使って売り上げを向上させるなどビジネス分野で効果的ですが、他にも交通事故の防止や医療への応用など様々な分野で効果を発揮することができます。
このようにビッグデータの有効利用には多くのメリットがありますが、課題もあります。まず 第一に、要求されるシステムスキルで、例えばHadoopなどを使用して独自の処理ルーチンを追加しようとした場合などは、プログラミング等かなりのスキルレベルが要求されます。第二に、テキスト解析を行う場合、米国等で開発されたシステムの場合は、単語間が空白等で区切られている事が想定されており、日本語テキストの解析等を行う場合、このままでは使用できません。
本講座ではこの両方を解決して効果的にビッグデータ処理を行う方法を解説します。具体的には、最初にGoogleのビッグデータ解析システムBigQueryのクエリーと新機能の BigQuery UDF を使用したクラウド上でのデータ解析を紹介します。次にR言語および日本語形態素解析ツールのMeCabを組みわせてより本格的な日本語テキストの解析を行う方法を見ていきます。これによって高レベルのシステムスキルを要求されることなく日本語でのテキスト解析を行うことができ、ビジネス分野を含めた様々な分野でビッグデータから有意な情報を得ることができるようになります。
- 第1講 データ連携解析システムとは
- データ連携解析システムの概要
- データ連携解析システムの概要と特徴
- データ連携解析システムの処理フロー
- 使用されるツール類
- twitter反響まるごと収集ツール
- twitter反響まるごと収集ツールとは
- twitter反響まるごと収集ツールの主な仕様
- SNSデータ収集ツール:mention
- センサ
- Google BigQuery
- カラム型ストレージ
- 木構造のアーキテクチャ
- R言語
- R言語とは
- R言語でできるデータ分析
- MeCab (和布蕪)
- MeCabとは
- MeCabの特徴
- 各種スクリプト言語バインディング (perl/ruby/python/java/C#) の比較
- 第2講 SNSデータを収集する
- SNSデータの収集
- twitter反響まるごと収集ツールを使用する# [ログイン]
- データを収集する:収集テーマの登録
- SNSのキーワード収集ツール「mention」を使用する
- センサデータの収集
- USB Thermometer-528018を使用する
- 簡易温度センサとは
- 簡易温度センサでセンサデータを収集する
- 温度計測を行う
- RS232C/USB通信タイプ デジタルガイガーカウンタ
- 第3講 クラウドのGoogle BigQueryを使用する
- BigQueryを使用するための準備手順
- サインアップする
- BigQueryを「ON」にする
- 課金 (Billing) を有効にする
- SNSデータのBigQueryアップロード
- アップロードを実行する
- アップロードデータのステータスを表示する
- クエリでアップロードデータを検索・解析する (クエリ解析)
- BigQuery UDF (User Defined Function) でクエリ出力をプログラム処理する
- BigQuery UDFとは
- BigQuery UDFのプログラム処理サンプル
- アップロードデータの集積化 (ビッグデータ化) ~twitter反響まるごと収集ツールのデータ使用
- クエリ実行
- BigQueryのテーブルにセーブ
- セーブされたデータの確認
- 新しいデータの追加
- 第4講 BigQuery + R + MeCabの環境を設定する
- R言語環境
- Rの特徴
- R環境の設定
- Rをインストールする
- 基本コマンドを使用してみる
- RからBigQueryにアクセスできるようにする
- 次のコマンド入力でBigQuery接続用のライブラリをCRANからインストールする
- BigQuery接続の実行 (センサデータ例)
- Rで形態素解析 RMecabを使えるようにする
- 形態素解析エンジン MeCabをインストールする
- Windows インストーラをダウンロード
- Windows 版 RMeCab (32/64 bit) をインストールする
- 第5講 BigQuery + R + MeCab環境で基本操作を行う
- R言語の基本を理解する
- 複数の数値をベクトルとして扱う
- 簡単な数値計算
- 簡単なベクトル演算
- 文字列をベクトルのように扱う
- 簡単な行列の作成と演算
- 簡単なリストの作成
- 簡単なデータフレームの作成
- 関数 (サブルーチン) の定義
- グラフの作成
- 基本的なプログラミングの構文
- if 文
- while 文
- for文
- その他のコマンドや関数
- 変数と属性
- apply 系関数
- 図の作成
- ファイル出力フォルダ指定指定されたフォルダの確認
- RからBigQueryのクリーを実行し結果をダウンロードする
- SNSデータ marugoto
- SNSデータ mention
- 第6講 BigQuery + R + MeCab環境でデータ操作を行う
- BigQueryからデータをダウンロードしてフォルダに格納する
- BigQueryのデータをR + MeCab環境で形態素解析する
- 頻度分析: 単語の出現頻度を調べる
- 共起語分析: 隣接した単語を見つける
- Ngram解析: 語の連なりについて調べる
- テキストのネットワーク分析
主催
お支払い方法、キャンセルの可否は、必ずお申し込み前にご確認をお願いいたします。
お問い合わせ
(主催者への直接のお問い合わせはご遠慮くださいませ。)
受講料
1名様
:
46,000円 (税別) / 49,680円 (税込)
1口
:
57,000円 (税別) / 61,560円 (税込)
(3名まで受講可)
割引特典について
- 複数名 同時受講:
1口 57,000円(税別) / 61,560円(税込) (3名まで受講可能)