AWS

AWS標準のFW・WAF機能

AWS

セキュリティグループ ステートフル(※1) IPおよびポート番号による制御 無料 ※1 通過した後の通信が戻ってくる際は、ルール関係なく許可 ネットワークACL ステートレス(※2) IPおよびポート番号による制御 無料 ※2 通過した後の通信が戻ってくる際も、ルール…

各クラウド基盤のBIツール

AWS aws.amazon.com Azure azure.microsoft.com GCP developers.google.com AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門作者:上原 誠,志村 誠,下佐粉 昭,関山 宜孝テッキーメディアAmazon基本操作からレポート作成までわかる!…

P136 AWS IAM

AWS

IAMには4つのエンティティが存在する。 IAMユーザー:AWSを操作する人やサービス IAMグループ:IAMユーザーの集合 IAMポリシー:AWSへのアクセス許可/拒否権 IAMロール:IAMユーザーやコンポーネントに対する権限を委譲するための器 許可の設定パターン IAM…

P105 データリネージ(データ経路の追跡)

AWS

データリネージ[Data Lineage]とは、データがどこから発生し(出自)、どのような変換や加工を経て、現在の形になったかという流れを追跡可能にすることである。 バックトラックと呼ばれる場合もある。 この追跡により、例えば分析の根拠となっているデータを…

P55 1.5.1 データ活用のための変換処理

テキストデータにおける変換処理の例 日付処理:西暦/和暦変換、JST/UTCなどのタイムゾーン変換 不正な値処理変換:Null値や空文字の取扱い 文字列や値の統一:大文字小文字の統一(半角/全角もか)、整数/小数の統一、表記揺れの統一 テーブルの結合処理:取…

インターネットゲートウェイ/NATゲートウェイ/NATインスタンス

AWS

理解がごちゃ混ぜになっていたので、再整理する。 なお、インターネットゲートウェイ以外にも、Direct Connect (Gateway)、VPN Gateway、VPC Peering、TransitGatewayなどいくつか存在するが、一旦ここでは割愛する。 インターネットゲートウェイ docs.aws.a…

CloudFront + S3 + HLS形式ストリーミングの動画サイトがカクカク再生されてしまう

【構成】 サーバー:CloudFront + S3構成 動画構成:mp4をHLS形式(M3U8ファイル + 複数のTSファイル) クライアント:video.js【事象】 動画を再生するとカクカク再生される【原因・理由・対策】 [原因1] video.jsがいけてなさそう(理由) video.jsの動作をCh…

CloudFrontのキャッシュヒット率が酷い → 自分の設定が酷かっただけであった

AWS

以下の記事で動画配信の仕組みを作成した。 yoneyore.hatenablog.com動画配信自体は問題なかったが、視聴者が増えるにつれて動画がスムーズに見れないという人が増えてきた。 Chromeのバージョンが上がった事で利用しているVideo.jsをアップデートしないとい…

CloudFront + S3を用いて動画をストリーミング形式で再生させたい

[何をしたかったか] ・急遽1カ月程度の期間限定動画公開サイトを作成したいとお願いされた。 但し、金銭授受が発生するため、Youtubeが使えない。 (限定公開する際に通常はアクセス権限を金銭による制御を行う事は禁止されている) ・既に金銭授受は完了して…

ホスト名がEC2で設定した名前のままになってしまう

AWS

【事象】 hostnameコマンドを実行しても、ホスト名がEC2で設定された名前になっている [root@hoge.hogehoge.jp]# hostname ip-11-12-13-14 にも拘わらず、プロンプトの名称はhoge.hogehoge~と想定している名前になっている。 hostsやcloud.cfgなど確認した…

古いAMIから作成したインスタンスだとt3/m5/c5で起動してもSSHがつながらない

AWS

【事象】 CentOS7はインストールされているが、昔作成したインスタンスをt2/m4/c4で起動させていたのを、t3/m5/c5に引越しさせようとしたが、インスタンスを起動させてもSSHが繋がらない。また、起動ログを確認しようにもロギングすら行われていなかった。【…

CloudBerry Explorerにアクセスすると407エラーが発生する

AWS

[事象] CloudBerry Explorerをインストール後アクセスすると、407 Authenticate requiredというエラーが発生し起動が行えない。 プロキシ環境のため、以下のフォルダ内の設定ファイルにプロキシの設定を入れたがそれでも動かなかった。 C:\Users\username\Ap…

EC2内でcurlコマンドを用いて簡単にインスタンスIDなど情報を取得する方法

AWS

[インスタンスIDを取得する方法] curl -s -S http://169.254.169.254/latest/meta-data/instance-id/ [取得可能な情報のリストを取得する方法] curl -s -S http://169.254.169.254/latest/meta-data/ [参考リンク] lance104.hatenablog.jp curl コマンド | …

P104 署名付きURL

S3には署名付きURLという機能が存在し、これを用いれば簡単にある特定の人に対してのみダウンロード可能なサイトを用意できる。 署名付きURLは作成したユーザーに成り代わってアクセスする機能なので、安全面を考えると、既存のIAMユーザー権限で生成するの…

RDSのスナップショットからリストアする際の注意点

AWS

削除してからでないと作成できない 現在作成しているRDSに対して、リストアという事ができない。 そのため、事前に削除してから、再度リストアするしかない。 よって、設定値などが不明な場合は、予めメモなどを取ってから削除を行い、リストア作業を行った…

P141 52.SorryPageパターン

・Route53のフェイルオーバー機能とS3のウェブサイトホスティング機能を組み合わせて設定する。 ・複数リージョンで構成されたグローバルなシステムの場合でも、一部の地域のみSorry Pageを出すような仕組みを構築できる。Amazon Web Servic…

P136 50. WAF Proxyパターン

・上流にプロキシーを設け、そこにWAFをインストールする。 ・WAFの必要ライセンス数がWeb/APサーバー数ではなく、より少ないプロキシーサーバー数となる。 ・SPOFを作らないようにプロキシサーバーも複数台用意する。 ・Web/APサーバーの間に噛むため、Auto…

P121 46.Backnetパターン

・ENIを2つ用意し、片側はインターネット側、もう一方をVPNゲートウェイにルーティングする。 ・SSHとしてアクセス可能なポートが外部インターネット向けには存在しないため、セキュア性が高い。Amazon Web Services クラウドデザインパタ…

P81 27.Write Proxyパターン(インターネットストレージへの高速アップロード)

・アップロードサーバーを用意し、FTPやSkeed Silver Bullet/Aspera/TsunamiUDPなどのUDP転送ソフト、もしくは転送速度を上げるソフトをインストールする。 ・アップロードサーバーのEC2の書き込み速度がボトルネックとなる場合は、必要に応じてディスクをス…

P61 S3に対するアクセス権の制御方法

1.ACL オブジェクトに紐づく唯一の指定方法である。 2.及び3.はいずれもバケットに対するアクセス権設定方法である。2.バケットポリシー どのようなユーザー(もしくはグループ)がアクセスできるかを決める方法である。3.ユーザーポリシー ユーザーやグループ…

P60 バケットの命名規則

・3~63文字以内 ・英小文字、数字、ハイフンで構成する(最後をハイフンで終わってはいけない) ・バケット名は、ピリオド区切りを指定しても良いが、SSLを利用する場合は推奨しない ・IPアドレス形式(192.168.1.1)は利用できないAmazon Web Services完全ソリ…

P60 バケットを特定するURL

[仮想ホスト形式] (通常) http://バケット名.s3.amazonaws.com/ (フル) http://バケット名.s3-リージョンのコード(ex.s3-ap-northeast-1).amazonaws.com/[パス形式] http://s3-リージョンのコード.amazonaws.com/バケット名Amazon Web Services完全ソリュー…

P59 リクエスタ支払い

通常S3の課金は、S3パケットを所有しているユーザー(企業に)対して発生する。 しかし、適切なIAMロール設定を行い、ほかのAWSユーザーがアクセスできるように設定した場合は、ダウンロードおよび命令コマンドに対する課金をそのユーザーに請求可能である(但…

P54 Amazon Direct Connect

専用線接続を行うためのサービス 当コンポーネントを用いて専用線接続が行える様にするには、併せてAPNパートナー提供するサービスを用いる必要がある。 そうしない場合は、東京リージョンの場合にはEQUINIX社に専用線接続するためのルーターを持ち込む必要…

P47 仮想プライベートゲートウェイとカスタマーゲートウェイ

VPC上に設置するものを仮想プライベートゲートウェイ(VPNゲートウェイ)と呼び、社内などに設置するVPN対応ルーターをAWSではカスタマーゲートウェイと呼称している。AWSではいくつかの検証済の機器が示されており、確実に接続したいのであれば検証済機器を使…

P46 VPCウィザード

当書では、「VPC」「サブネット」「インターネットゲートウェイ」「NATゲートウェイ」をそれぞれ作成する事で環境構築を行っている。 それぞれの意味を理解しているのであれば、VPCウィザードを使えば、楽に構築をする事も可能である。Amazon Web Services完…

P19 セキュリティグループとネットワークACL

[セキュリティグループ] ・EC2が持つENI(Elastic Network Interface)と呼ばれる仮想ネットワークカードに対して構成する。 ・最大5個まで設定可能(※1) ・通信はステートフル(ある通信を通せば、その応答は自動的に通過する)[ネットワークACL] ・サブネットに…

P17 VPCピアリング

VPCピアリングは、自身のアカウントのVPC同士だけではなく、他のAWSユーザーのVPCとも接続が行えるのが大きな特徴である。 但し、同じアベイラビリティゾーンであった場合でも、通信料金は別とみなされ課金される。 また、別リージョン間は当機能を用いた接…

P16 NATゲートウェイ

yumなどでEC2インスタンスからインターネット経由にアクセスを行いたい場合、Elastic IPを設定せずとも、NATゲートウェイをサブネットに設定することで、EC2はプライベートIPのままインターネット接続を行わせることが可能である。Amazon Web Services完全ソ…

P15 サブネットの制約

・ELBを利用するには、配置するサブネットに対して最低8個の空きIPアドレスが必要 ・サブネットで予約されているIPアドレス、先頭~先頭+3、末尾は利用できない。 (P16 表1-1-3に理由を記載)Amazon Web Services完全ソリューションガイド作者: 大澤文孝,川上…