DataInfrastructure

Deequ

概要 AWSが管理するOSS データ品質のメトリクス取得や制約チェックが可能 Pythonで利用するためのPyDeequというのもある リポジトリ github.com github.com AWS解説文 aws.amazon.com 参考リンク AWS Glue Data Qualityを試してみた #AWS - Qiita データテス…

Amazon Kinesis シリーズ

簡易比較表 名称 主目的 Video Streams ストリーム動画の保存、再生、分析 Data Streams ストリームデータを高速に加工、配信 Data Firehose ストリームデータの配信 Data Analytics ストリームデータの分析 便宜上、Amazon Kinesisは省略して記載 Data Anal…

データ基盤関連の本(2024年10月時点)

随時更新中 基盤設計 エンジニアのためのデータ分析基盤入門 まずはここからスタートと言える一冊、神本 どれか一冊勧めてと言われたらこの本を推します[エンジニアのための]データ分析基盤入門 データ活用を促進する! プラットフォーム&データ品質の考…

データカタログ

意味 メタデータを使用して、組織がデータを管理できるようにする機能のこと 製品 プラットフォーマー AWS Glue のデータカタログとクローラー - AWS Glue Microsoft Purview による統合データ ガバナンス | Microsoft Azure Azure Data Catalog の概要 | Mi…