AWS Black Belt Online Seminar AWS上でのログ管理 Confirmation 参加ログ
AWS上でのログ管理 Confirmationをオンラインで参加したので、参加ログを残しておきます。
ログ処理の全体像
- データ処理と保存(S3, Kinesis, DynamoDB, RDS)
- イベント処理(Lambda, KCL apps)
- データ処理(EMR)
- データ分析(Redshift)
BIツールが公式で出たのでチェックしましょう。
AWSのBIツール Amazon QuickSight がついにリリースされました! – サーバーワークスエンジニアブログ
今回は「データ処理と保存」の部分がメインでした。
AWSのサービスから出力されるログ
CloudTrail
- API操作を記録するサービス
- S3にロギングデータを保存
S3バケットログ
- バケット単位のアクセスログ
- ログはS3バケットに保存する
CFのアクセスログ
- AccessLog。利用傾向分析、データ可視化と詳細な障害分析
ELB
OSやアプリケーションなどの各環境の固有のログ
- リアルタイムに処理しなくてもいいならバッチ取得
- リアルタイムな処理を行う必要があるのであればストリーム取得
ログ転送
ログファイル転送
- scpで送信
- スケールを考えたり、SPOFになったり、リトライしたりするので非推奨
syslogエージェント
- pull型からpush型にすることが可能
- ログ収集サーバのスケールは難しい
マネージドサービスの利用
Kinesis firehose
- 管理不要。アプリ、インフラの管理がない(Firehoseを使えばLambdaが不要になる(東京リージョンにない))
- データストアとダイレクトに統合
- シームレスにスケール
Cloud Watch Logs
- agentによって単純にログを送信できる
- 複雑なことをしないのであれば運用コストは低い
ログの保存
- 全てのログはS3へ貯め続ける
最後に
ログ基盤をバージニアで作ることで、東京リージョンにまだないサービスをフルで活用できるというのは面白そうでした。
ログまわりはまだ手になじんでないので、少し触って見たいと思います。