本-データ分析基盤構築入門

データ分析基盤の基本構造

エンジニアのためのデータ分析基盤入門 2.2 データの世界のレイヤー より データ分析基盤のレイヤー コレクティングレイヤー(データを集める) プロセシングレイヤー(データを処理する) ストレージレイヤー(データを保持する) アクセスレイヤー(データを利用…

データラングリング[data wrangling]

エンジニアのためのデータ分析基盤入門 2.4 プロセシングレイヤー データを変換する より 意味 非構造データを構造データにしたり、付加価値を付ける作業を行うこと。 ラングリングはこねくり回すという意味である。 データプレパレーション[data preparatio…

P195 Elastic Stack

データ取込:Logsash、Beats データストア:Elasticsearch データ可視可:Kibanaデータ分析基盤構築入門[Fluentd,Elasticsearch,Kibanaによるログ収集と可視化]作者:鈴木 健太,吉田 健太郎,大谷 純,道井 俊介発売日: 2017/09/21メディア: Kindle版

P41 cat API

ElasticsearchのAPIは基本的にJSONでレスポンスを返しますが、cat APIを使うとsshターミナル上でも人が認識しやすい形式で結果を取得可能ex) インデックス一覧取得 curl localhost:9200/_cat/indices/ データ分析基盤構築入門[Fluentd、Elasticsearch、Kiban…

P79 td-agent

安定版Fluentd、Fluentdを実行するために必要なRubyバイナリ、デーモン化するための起動スクリプト関連の設定ファイルを含んだオールインワンパッケージのこと。 これを利用するメリットとしては、既にRubyなどを使っている環境に影響を与えずに導入できるこ…