日志管理与分析权威指南.pdf
http://www.100md.com
2020年11月13日
 |
| 第1页 |
 |
| 第5页 |
 |
| 第11页 |
 |
| 第25页 |
 |
| 第32页 |
参见附件(16015KB，82页)。
日志管理与分析权威指南
《日志管理与分析权威指南》由日志管理与分析领域资深安全专家亲笔撰写，从日志的基本概念开始，循序渐进讲解整个日志生命期的详细过程，涵盖日志数据收集、存储分析和法规依从性等主题，小编今天给大家准备了日志管理与分析权威指南，欢迎
内容介绍
日志是计算机系统中一个非常广泛的概念，磁盘系统、内核操作系统、应用服务器等任何设备和程序都可能输出日志，其内容、形式、规模和用途等各不相同。面对如此庞大的日志，我们如何处理和分析日志数据，从中获取有用信息？
《日志管理与分析权威指南》由日志管理与分析领域资深安全专家亲笔撰写，从日志的基本概念开始，循序渐进讲解整个日志生命期的详细过程，涵盖日志数据收集、存储分析和法规依从性等主题，并通过丰富的实例，系统阐释日志管理与日志数据分析的实用技术和工具，既包括传统的syslog，也涵盖云计算和大数据环境下新兴的日志分析技术。
此外，本书从整个运营规程、策略上形成完整的系统，突破行业和具体软硬件配置的限制，不管读者身处何种规模、何种软硬件配置，均能从本书介绍的概念和思路中获益，并通过自己的努力，形成基于标准、适合自身特点的日志运营架构。
相关内容部分预览
目录
序言
前言
第1章 木材、树木、森林 1
1.1 概述 1
1.2 日志数据基础 2
1.2.1 什么是日志数据 2
1.2.2 日志数据是如何传输和收集的 3
1.2.3 什么是日志消息 5
1.2.4 日志生态系统 6
1.3 看看接下来的事情 12
1.4 被低估的日志 13
1.5 日志会很有用 14
1.5.1 资源管理 14
1.5.2 入侵检测 14
1.5.3 故障排除 17
1.5.4 取证 17
1.5.5 无聊的审计，有趣的发现 18
1.6 人、过程和技术 19
1.7 安全信息和事件管理(siem) 19
1.8 小结 22
参考文献 22
第2章 日志是什么 23
2.1 概述 23
2.2 日志的概念 25
2.2.1 日志格式和类型 27
2.2.2 日志语法 32
2.2.3 日志内容 35
2.3 良好日志记录的标准 36
2.4 小结 38
参考文献 38
第3章 日志数据来源 39
3.1 概述 39
3.2 日志来源 39
3.2.1 syslog 40
3.2.2 snmp 45
3.2.3 windows事件日志 48
3.3 日志来源分类 50
3.3.1 安全相关主机日志 50
3.3.2 安全相关的网络日志 52
3.3.3 安全主机日志 52
3.4 小结 54
第4章 日志存储技术 55
4.1 概述 55
4.2 日志留存策略 55
4.3 日志存储格式 57
4.3.1 基于文本的日志文件 57
4.3.2 二进制文件 59
4.3.3 压缩文件 59
4.4 日志文件的数据库存储 60
4.4.1 优点 61
4.4.2 缺点 61
4.4.3 定义数据库存储目标 61
4.5 hadoop日志存储 63
4.5.1 优点 63
4.5.2 缺点 64
4.6 云和hadoop 64
4.6.1 amazon elastic mapreduce入门 64
4.6.2 浏览amazon 64
4.6.3 上传日志到amazon简单存储服务(s3) 65
4.6.4 创建一个pig脚本分析apache访问日志 67
4.6.5 在amazon elastic mapreduce (emr)中处理日志数据 68
4.7 日志数据检索和存档 70
4.7.1 在线存储 70
4.7.2 近线存储 70
4.7.3 离线存储 70
4.8 小结 70
参考文献 71
第5章 syslog-ng案例研究 72
5.1 概述 72
5.2 获取syslog-ng 72
5.3 什么是syslog-ng 73
5.4 部署示例 74
5.5 syslog-ng故障排除 77
5.6 小结 79
参考文献 79
第6章 隐蔽日志 80
6.1 概述 80
6.2 完全隐藏日志设置 82
6.2.1 隐藏日志生成 82
6.2.2 隐藏日志采集 82
6.2.3 ids日志源 83
6.2.4 日志收集服务器 83
6.2.5 “伪”服务器或“蜜罐” 85
6.3 在“蜜罐”中的日志记录 85
6.3.1 蜜罐网络的隐蔽shell击键记录器 86
6.3.2 蜜罐网络的sebek2案例研究 87
6.4 隐蔽日志通道简述 88
6.5 小结 89
参考文献 89
第7章 分析日志的目标、规划和准备 90
7.1 概述 90
7.2 目标 90
7.2.1 过去的问题 91
7.2.2 未来的问题 92
7.3 规划 92
7.3.1 准确性 92
7.3.2 完整性 93
7.3.3 可信性 93
7.3.4 保管 94
7.3.5 清理 94
7.3.6 规范化 94
7.3.7 时间的挑战 95
7.4 准备 96
7.4.1 分解日志消息 96
7.4.2 解析 96
7.4.3 数据精简 96
7.5 小结 98
第8章 简单分析技术 99
8.1 概述 99
8.2 一行接一行：绝望之路 100
8.3 简单日志查看器 101
8.3.1 实时审核 101
8.3.2 历史日志审核 102
8.3.3 简单日志操纵 103
8.4 人工日志审核的局限性 105
8.5 对分析结果做出响应 105
8.5.1 根据关键日志采取行动 106
8.5.2 根据非关键日志的摘要采取行动 107
8.5.3 开发行动计划 109
8.5.4 自动化的行动 109
8.6 示例 110
8.6.1 事故响应的场景 110
8.6.2 例行日志审核 110
8.7 小结 111
参考文献 111
第9章 过滤、规范化和关联 112
9.1 概述 112
9.2 过滤 114
9.3 规范化 115
9.3.1 ip地址验证 116
9.3.2 snort 116
9.3.3 windows snare 117
9.3.4 通用cisco ios消息 117
9.3.5 正则表达式性能考虑因素 118
9.4 关联 119
9.4.1 微观关联 121
9.4.2 宏观关联 122
9.4.3 使用环境中的数据 125
9.4.4 简单事件关联器 126
9.4.5 状态型规则示例 127
9.4.6 构建自己的规则引擎 132
9.5 常见搜索模式 139
9.6 未来 140
9.7 小结 140
参考文献 140
第10章 统计分析 141
10.1 概述 141
10.2 频率 141
10.3 基线 142
10.3.1 阈值 145
10.3.2 异常检测 145
10.3.3 开窗 145
10.4 机器学习 146
10.4.1 knn算法 146
10.4.2 将knn算法应用到日志 146
10.5 结合统计分析和基于规则的关联 147
10.6 小结 148
参考文献 148
第11章 日志数据挖掘 149
11.1 概述 149
11.2 数据挖掘简介 150
11.3 日志数据挖掘简介 153
11.4 日志数据挖掘需求 155
11.5 挖掘什么 155
11.6 深入感兴趣的领域 157
11.7 小结 158
参考文献 158
第12章 报告和总结 159
12.1 概述 159
12.2 定义最佳报告 160
12.3 身份认证和授权报告 160
12.4 变更报告 161
12.5 网络活动报告 163
12.6 资源访问报告 164
12.7 恶意软件活动报告 165
12.8 关键错误和故障报告 166
12.9 小结 167
第13章 日志数据可视化 168
13.1 概述 168
13.2 视觉关联 168
13.3 实时可视化 169
13.4 树图 169
13.5 日志数据合成 170
13.6 传统日志数据图表 175
13.7 小结 176
参考文献 176
第14章 日志法则和日志错误 177
14.1 概述 177
14.2 日志法则 177
14.2.1 法则1——收集法则 178
14.2.2 法则2——留存法则 178
14.2.3 法则3——监控法则 178
14.2.4 法则4——可用性法则 179
14.2.5 法则5——安全性法则 179
14.2.6 法则6——不断变化法则 179
14.3 日志错误 179
14.3.1 完全没有日志 180
14.3.2 不查看日志数据 181
14.3.3 保存时间太短 182
14.3.4 在收集之前排定优先顺序 183
14.3.5 忽略应用程序日志 184
14.3.6 只搜索已知的不良条目 184
14.4 小结 185
参考文献 185
第15章 日志分析和收集工具 186
15.1 概述 186
15.2 外包、构建或者购买 186
15.2.1 构建一个解决方案 187
15.2.2 购买 187
15.2.3 外包 188
15.2.4 问题 189
15.3 日志分析基本工具 189
15.3.1 grep 189
15.3.2 awk 191
15.3.3 microsoft日志解析器 192
15.3.4 其他可以考虑的基本工具 193
15.3.5 基本工具在日志分析中的作用 194
15.4 用于集中化日志分析的实用工具 195
15.4.1 syslog 195
15.4.2 rsyslog 196
15.4.3 snare 197
15.5 日志分析专业工具 197
15.5.1 ossec 198
15.5.2 ossim 200
15.5.3 其他值得考虑的分析工具 201
15.6 商业化日志工具 202
15.6.1 splunk 202
15.6.2 netiq sentinel 203
15.6.3 ibm q1labs 203
15.6.4 loggly 204
15.7 小结 204
参考文献 204
第16章 日志管理规程 205
16.1 概述 205
16.2 假设、需求和预防措施 206
16.2.1 需求 206
16.2.2 预防措施 207
16.3 常见角色和职责 207
16.4 pci和日志数据 208
16.4.1 关键需求10 208
16.4.2 与日志记录相关的其他需求 211
16.5 日志记录策略 213
16.6 审核、响应、升级规程 初始基线 217
16.6.3 人工构建初始基线 219
16.6.4 主要工作流程：每天日志审核 220
16.6.5 异常调查与分析 222
16.6.6 事故响应和升级 225
16.7 日志审核的验证 225
16.7.1 日志记录的证据 226
16.7.2 日志审核的证据 226
16.7.3 异常处理的证据 226
16.8 日志簿——异常调查的证据 227
16.8.1 日志簿推荐格式 227
16.8.2 日志簿条目示例 228
16.9 pci依从性证据包 230
16.10 管理报告 230
16.11 定期运营任务 231
16.11.1 每日任务 231
16.11.2 每周任务 232
16.11.3 每月任务 232
16.11.4 季度任务 233
16.11.5 年度任务 233
16.12 其他资源 233
16.13 小结 233
参考文献 234
第17章 对日志系统的攻击 235
17.1 概述 235
17.2 各类攻击 235
17.2.1 攻击什么 236
17.2.2 对机密性的攻击 236
17.2.3 对完整性的攻击 241
17.2.4 对可用性的攻击 245
17.3 小结 252
参考文献 252
第18章 供程序员使用的日志 253
18.1 概述 253
18.2 角色与职责 253
18.3 程序员所用的日志记录 254
18.3.1 日志应该记录哪些信息 255
18.3.2 程序员使用的日志记录api 256
18.3.3 日志轮转 257
18.3.4 不好的日志消息 259
18.3.5 日志消息格式 259
18.4 安全考虑因素 261
18.5 性能考虑因素 262
18.6 小结 263
参考文献 263
第19章 日志和依从性 264
19.1 概述 264
19.2 pci dss 265
19.3 iso 2700x系列 269
19.4 hipaa 271
19.5 fisma 276
19.6 小结 281
第20章 规划自己的日志分析系统 282
20.1 概述 282
20.2 规划 282
20.2.1 角色和职责 283
20.2.2 资源 284
20.2.3 目标 284
20.2.4 选择日志记录的系统和设备 285
20.3 软件选择 285
20.3.1 开源软件 285
20.3.2 商业化软件 286
20.4 策略定义 287
20.4.1 日志记录策略 287
20.4.2 日志文件轮转 288
20.4.3 日志数据收集 288
20.4.4 留存/存储 288
20.4.5 响应 289
20.5 架构 289
20.5.1 基本模型 289
20.5.2 日志服务器和日志收集器 290
20.5.3 日志服务器和具备长期存储的日志收集器 290
20.5.4 分布式部署 290
20.6 扩展 291
20.7 小结 291
第21章 云日志 292
21.1 概述 292
21.2 云计算 293
21.2.1 服务交付模型 293
21.2.2 云部署模型 294
21.2.3 云基础设施特性 295
21.2.4 标准？我们不需要讨厌的标准 295
21.3 云日志 296
21.4 监管、依从性和安全问题 300
21.5 云中的大数据 301
21.6 云中的siem 303
21.7 云日志的优缺点 304
21.8 云日志提供者目录 305
21.9 其他资源 305
21.10 小结 305
参考文献 306
第22章 日志标准和未来的趋势 307
22.1 概述 307
22.2 从今天推知未来 308
22.2.1 更多的日志数据 308
22.2.2 更多动力 309
22.2.3 更多分析 310
22.3 日志的未来和标准 310
22.4 渴望的未来 314
22.5 小结 314
作者简介
Anton A. Chuvakin博士是日志管理、SIEM和PCI DSS依从性领域公认的安全专家，他参与撰写了《Security Warrior》(ISBN: 978-0-596-00545-0)和《Know Your Enemy: Learning About Security Threats》
第2版(ISBN: 978-0-321-16646-3)、《Information Security Management Handbook》第6版(ISBN: 978-0-8493-7495-1)、《Hacker
’s Challenge 3:20 Brand-New Forensic Scenarios & Solutions》(ISBN: 978-0-072-26304-6)、《OSSEC Host-Based Intrusion Detection Guide》(Syngress，ISBN: 978-1-59749-240-9)等书籍。
Anton已经发表了数十篇有关日志管理、关联分析、数据分析、PCI DSS、安全管理等安全主题的文章。
此外，Anton在全球的许多安全会议上发表演讲，包括美国、英国、新加坡、西班牙、俄罗斯等地。他参与新兴的安全标准的制定，并且担任多家安全领域创业公司的顾问。
目前，他运营自己的顾问公司Security Warrior。在此之前，他曾经是Qualys的PCI依从性解决方案主管和LogLogic的首席日志管理者，任务是为全世界提供关于安全、标准化和运营日志的重要性的培训。在LogLogic之前，他曾经受雇于一家安全供应商，担任战略产品管理职务。Anton拥有Stony Brook大学的博士学位。
Kevin J. Schmidt是Dell SecureWorks公司的高级经理，这家业界领先的安全托管服务提供商(MSSP)是Dell的下属公司。他负责公司SIEM平台主要部分的设计和开发，包括数据获取、关联分析和日志数据分析。就职于SecureWorks之前，Kevin为Reflex Security工作，致力于IPS引擎和反病毒软件。在此之前，他是GuradedNet公司的首席开发人员和架构师，该公司构建了行业最早的SIEM平台之一。他还是美国海军预备队(USNR)的军官。Kevin在软件开发和设计领域有19年的经验，其中11年从事网络安全领域的研发工作。他持有计算机科学学士学位。
Christopher Phillips是Dell SecureWorks的经理和高级软件开发人员，负责公司Threat Intelligence服务平台的设计和开发。他还负责一个团队，致力于集成来自许多第三方提供商的日志和事件信息，帮助客户通过Dell SecureWorks系统和安全专业人士分析信息。在就职于Dell SecureWorks之前，他为McKesson和Allscripts工作，帮助客户进行HIPAA标准化、安全性和保健系统集成方面的工作。他在软件开发和设计领域有18年以上的经验，持有计算机科学学士学位和MBA学位。
技术编辑简介
Patricia Moulder(CISSP、CISM、NSA-IAM)是一位高级安全主题专家和顾问。她持有东卡罗莱纳大学科学硕士学位。她在网络安全评估、Web应用审计、商用及美国政府客户无线网络技术方面有超过19年的经验。她在辛克莱尔社区学院担任网络安全助理教授5年之久，她在SDLC应用安全审计和数据隐私标准化方面也有大量跨平台经验。
日志管理与分析工具的作用
信息化的发展催生了越来越复杂的数据中心，同时也为数据中心的运维带来了难度。通常一个数据中心会有各种不同的信息化系统，包括：
服务器：Windows、Linux、Unix
网络设备：路由器、交换机、负载均衡等
安全设备：防火墙、入侵检测、上网行为管理、VPN等
数据库：SQLServer、Oracle、MySQL等
基础服务：Web服务器、缓存服务器、邮件服务器、LDAP服务器等
各种应用：OA、CRM、业务系统等
这些系统通常都需要7 x 24小时运行，保障这些系统的安全、稳定、合规是运维的一大难题。
日志是这些信息化设备和系统实时产生的各种数据，它如实反应了信息化系统的各种实时状况，是提升运维水平的好帮手。
将这些信息化系统的日志进行实时采集、汇聚、解析、存储，然后进行实时监控、搜索和分析能够帮助运维很好的实现如下工作：
安全监测：监测信息化基础设施和信息化系统的安全风险，包括：安全配置是否存在风险、攻击威胁、入侵检测等；
状态监测：监测信息化基础设施和信息化系统的服务状态，监控其是否健康，是否存在服务失效或服务质量降低的风险等，例如：服务器磁盘剩余空间是否达到警戒线、核心交换机的CPU和内存使用率是否处于非正常状态、Apache的连接数持续增长、业务系统的访问延迟是否在合理范围内；
合规检测：检测信息化基础设施和信息化系统的设置是否符合国家、行业、企业的规范，并及时将不符合的设置检测出来并报告；
审计取证：将用户对信息化基础设施和信息化系统的操作进行记录并随时回查和导出报表，以便发现问题和取证，包括在黑客攻击后回查黑客的行为轨迹，例如：Linux服务器的命令执行历史、Windows服务器的权限修改历史、交换机的配置修改历史；
业务监控与分析：对网站或业务系统的日志进行汇总并分析，可对业务使用情况进行实时监控、对业务使用情况进行汇总分析从而帮助业务运营优化。
然而日志分析工作也存在着诸多挑战：
IT系统类型庞杂，日志格式多样，无法统一，采集和解析难度大；
日志文件多数为非结构化数据，而且通常日志量都非常大，传统数据库难以有效存储和检索；
服务器每天输出海量日志文件，人工无法逐一阅读，无法及时准确发现问题，发现问题后也无法快速定位；
多主机多日志源之间存在着丰富的关联关系，依靠人工查看和分析很难发掘其关联关系；
一套针对运维团队设计的日志管理与分析产品将在很大程度上帮助运维团队进行日志的采集、存储、监控、搜索和分析，能够极大地提高运维团队的工作效果和效率，保障整个信息化体系的安全、健康和高效。
日志管理与分析权威指南截图
相关资料1：
- 《班组管理实用手册》.pdf
- 《创新型企业知识管理》.pdf
- 《软考通关—信息系统项目管理师》(考点精炼+专题冲刺).pdf
- 《刘澜极简管理学》.pdf .epub .mobi
- 《企业内容管理理论与实践》.pdf
- 《Linux服务器配置与管理》.pdf
- 《现代企业设备点检定修管理与实践》.pdf
- 说服对方就是成功 - 美国管理协会·斯米克管理丛书.pdf
- 《汽车售后服务管理》第3版.pdf
- 《Excel 2010 人力资源管理入门与实战体验》.pdf
- 《管理的实践(珍藏版)(管理经典)》.epub
- 《沃顿管理精要：招到好人才》彼得·卡佩利.pdf .epub
- 《汽车服务店管理制胜秘籍》.pdf
- 《聪明人是怎样管理时间的》斯凯恩.pdf .epub
- 管理你的老板-张超.pdf