大数据运维实战-给大数据工程师的运维修炼手册

123好课网提供大数据运维实战-给大数据工程师的运维修炼手册高清无密网盘下载,原价98,给大数据工程师的运维修炼手册,大数据在这个互联网时代的重要意义,已经无需再多赘述。阿里、腾讯、美团等几乎你听过名字的公司,都有自己的大数据平台。

过去我们都关注大数据开发,随着大数据平台的逐渐完善,如何保障数据的安全、高效,如何保证系统架构的平稳运行,都成为各数据平台的“心病”。

于是,大数据运维这个岗位一跃成为大数据领域的热词。很多公司会让开发来兼大数据运维的工作,这对开发人员来说也是不小的挑战。

相比大数据开发,大数据运维方向需要更多的经验积累,比如什么架构才能支撑这个数据量、什么资源配置才能满足分析需求,这需要你实际接触过、操作过才能给出答案,而不是靠理论或者猜测。

大数据运维实战-给大数据工程师的运维修炼手册

专栏解读

专栏共七大模块, 26 个课时,引用大量大数据运维的实战案例,来讲述大数据平台的架构设计与部署、大数据平台的监控告警、性能调优,涵盖了大数据运维工作的全方位技能点。

模块一:Hadoop 大数据平台的规划与部署

主要讲解 Hadoop 大数据平台的搭建与基础配置;

模块二:Hadoop 分布式架构解析

主要讲解分布式文件系统 HDFS 和分布式资源管理器 Yarn 的运行机制以及内部实现细节;

模块三:Hadoop 外围应用整合实战

主要讲解大数据平台下如何整合一些外围应用,主要是 Spark、Flink 与 Yarn 的整合应用,以及 HBase 集群的部署;

模块四:Hadoop 大数据平台数据收集应用实践

主要讲解数据收集方法以及如何实现快速查询,Filebeat 、 Logstash、Elasticsearch ;

模块五:大数据平台日志传输与可视化应用实践

主要讲解海量数据环境中如何实现数据的实时传输,并实现可视化展示 ;

模块六:大数据平台运维监控体系的构建

主要讲解如何对大数据平台下每个组件的运行状态、服务状态进行监控;

模块七:大数据平台性能调优与运维经验汇总

主要讲解大数据运维中常见的故障处理方法、集群扩缩容、集群调度策略选型等。

老师简介

前新浪资深运维专家,专业运维专家、系统架构师、DBA 和技术顾问,曾就职于新浪、阿里云、新好耶等企业,从事 Linux/Unix 服务器系统的架构、运维和管理工作。他负责设计并运维过 PB 数量级、日百亿量的大数据平台,擅长大规模服务器集群的运维和管理,在故障诊断与排除、自动化运维、安全运维、性能调优、虚拟化等方面有丰富的实战经验。目前,他任国内某创业公司 CTO,主要从事基于 Hadoop 的云平台,以及 Hadoop 相关生态系统的运维、监控与优化等技术研究工作。

此外,他还著有畅销书《循序渐进Linux》和《高性能Linux服务器构建实战:运维监控、性能调优与集群应用》等书,其中后者是 Linux 运维领域公认的经典著作。

学习收获

  • 理论结合实践,详解大数据运维必备技能
  • 掌握大数据平台的架构、监控、性能调优
  • 大量实战案例,解决企业级业务需求
  • 突破职业瓶颈,挑战大数据高薪 Offer

课程大纲

大数据运维实战-给大数据工程师的运维修炼手册

章节目录

开篇词

开篇词:掌握大数据,把握未来

模块一:Hadoop 大数据平台的规划与部署

第01讲:大话 Hadoop 生态圈
第02讲:Hadoop 发行版选型和伪分布式平台的构建
第03讲:自动化运维工具 Ansible 在部署大数据平台下的应用(上)
第04讲:自动化运维工具 Ansible 在部署大数据平台下的应用(下)
第05讲:手动模式构建双 Namenode+Yarn 的 Hadoop 集群(上)
第06讲:手动模式构建双 Namenode+Yarn 的 Hadoop 集群(下)
第07讲:通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用(上)
第08讲:通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用(下)
第09讲:如何通过 Hive/tez 与 Hadoop 的整合快速实现大数据开发(上)
第10讲:如何通过 Hive/tez 与 Hadoop 的整合快速实现大数据开发(下)

模块二:Hadoop 分布式架构解析

第11讲:HDFS 组件运行机制剖析及 HDFS Shell 的使用
第12讲:Hadoop 分布式资源管理器 Yarn、MR 运行机制剖析

模块三:Hadoop 外围应用整合实战

第13讲:Spark Standalone 模式的构建以及 Spark 与 Yarn 的整合
第14讲:HBase 与 Hadoop 的整合应用实践
第15讲:Flink Standalone、Flink on Yarn 集群构建与应用场景

模块四:Hadoop 大数据平台数据收集应用实践

第16讲:轻量级日志收集工具 Filebeat 应用案例
第17讲:日志收集、分析过滤工具 Logstash 应用实战
第18讲:Elasticsearch 应用架构的实现与调优

模块五:大数据平台日志传输与可视化应用实践

第19讲:Kafka 应用场景、集群容量规划、架构设计应用案例
第20讲:日均数据量 30 亿的 Filebeat+Kafka+Mirrormaker 跨机房实时日志传送案例
第21讲:Filebeat+Kafka+Logstash+Elasticsearch 构建可视化日志分析系统

模块六:大数据平台运维监控体系的构建

第22讲:通过 Ganglia 实现对 HDFS、Yarn、Spark 运行状态监控
第23讲:Namenode、Datanode、Nodemanager 等服务状态监控策略
第24讲:通过 Kafka Eagle 实现对 Kafka 消息队列的监控

模块七:大数据平台性能调优与运维经验汇总

第25讲:Yarn 资源调度 Fair Schedule 与 Capacity Scheduler 配置选型
第26讲:HDFS 存储权限 ACL 控制策略以及与系统权限整合应用
第27讲:Yarn、HDFS、Kafka 内存调优策略以及性能瓶颈
第28讲:Hadoop 平台常见故障汇总以及操作系统性能调优
第29讲:大数据平台的硬件规划、网络调优、架构设计、节点规划
第30讲:Hadoop 跨集群数据迁移应用实践

结束语

结语:大数据运维,大有作为
大数据运维实战-给大数据工程师的运维修炼手册

IT互联网-运维-004

下载权限
查看
  • 免费下载
    评论并刷新后下载
    登录后下载
  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付以后下载 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分以后下载立即支付 支付以后下载立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余
© 版权声明
资源来源于网络,仅限购买正版前临时了解,版权归原作者所有,请下载后24小时内删除。如有需要,请购买正版。
若侵犯到您的版权利益,请联系我们,一经查实,本站将立即删除!
IT互联网运维

高效敏捷测试用敏捷思维重构测试技能

2022-7-4 9:30:29

运维

微服务质量保障-掌握软件测试新趋势,提高核心竞争力

2022-7-14 9:19:24

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
搜索