DevOps是什么? DevOps工程师到底做些什么?
DevOps是IT服务管理的一种模式。过去的数十年间，IT运维发展经历了数个阶段。从早期的手工运维到标准化运维、自动化运维，到如今的DevOps、AIOps。
简言之，DevOps试图打通开发和运维的部门墙，从而打通整个IT价值交付的全生命周期，从产品需求到上线运维的全过程实现效率的提升。
DevOps最显著的作用是提高了企业产品的交付质量、缩短开发周期、减少故障。而降本增效是每一个公司在数字化转型之后的很大的挑战，DevOps无疑直击痛点。
而作为一名DevOps 工程师，除了要具备软件工程师基本的编程能力以外,还需要特定的人际交往、工具使用等技能。换句话说,DevOps 工程师需要“软”、“硬”技能兼备,具体如下:
一、沟通与协作技巧
DevOps 是一种横跨软件开发、测试和部署的协作方法。它将原本具有不同目标的开发、测试和运维小团队聚集在一起,以实现更高效和高质量的代码发布,这就要求 DevOps 流程中的不同角色之间不能有任何交流障碍。因此,良好的沟通技巧(无论是口头还是书面)对于优秀的 DevOps 工程师来说是必不可少的。
协作能力也很重要。DevOps 是团队合作的开发模式,每个工程师都是团队成员,需要在整个软件迭代过程中支持其他同事的工作。这不仅仅要求我们成为一名优秀的队友,还要在适当的时候给新人一些建议,包括但不限于指导和建议团队成员交付代码的最佳方式、编码时使用哪些工具以及如何测试最新功能。这就要求我们自身也要对这些 DevOps 流程中的必要技能有所了解。
二、熟悉和理解 DevOps 工具链
除了协作和沟通这样的“软”技能之外,DevOps 工程师还必须知道如何使用各种复杂工具协同工作以支持软件交付目标,这是成为一个优秀的 DevOps 工程师所必备的“硬”技能。
DevOps 工程师需要知道如何使用和理解以下类型工具的作用:
版本控制工具
详细地说,集合了代码审查、合并功能的版本控制工具是能让多个开发人员之间完美协作的主要DevOps 工具。由于 DevOps 流程汇集了来自各个部门的专家,所以他们需要了解源代码控制系统,以及系统跟踪不同应用程序中的更改。此外,它还维护应用程序的多个版本。
目前 DevOps 流程中常用的版本控制系统都基于开源分布式版本控制系统 Git,例如 GitHub、Gitee、GitLab 以及各大厂商基于 Git 定制的内源协作工具。
持续集成工具
持续集成(CI)是 DevOps 的关键技能之一,它是构建 pipeline 的重要部分。DevOps 要求运营和开发团队使用统一的系统。因此,持续集成所做的就是将开发人员的代码与 master 合并在一起。有了这样的技巧,就可以有效地合并数据。因此,DevOps 工程师一定要知道如何使用一些常用的 CI 工具,例如 GitHub Action、Jenkins、Bamboo、TeamCity、Travis CI 等。
容器与编排工具
容器作为现代微服务与云原生架构的核心技术,提供了关于 DevOps 的三个基本功能,包括持续的实验、流动和反馈。容器技术的不可变基础设施实现了操作系统层虚拟化,不仅方便运维程序升级和部署,还升华成了向应用代码隐藏环境复杂性的手段,成为推广分布式服务的必要前提。
目前,Docker 仍然是应用最广泛的容器技术,而以容器编排引擎 Kubernetes 为核心的云原生技术栈则是各大互联网企业构建容器技术基础设施的事实标准。
自动化工具
自动化是软件开发过程中必不可少的要素之一。几乎所有的手工任务都可以使用各种脚本语言自动完成。例如,Ruby、Bash、Python、Node、Shell 等等。可以说,使用自动化开发工具已经成为了很多 DevOps 团队加快开发和部署过程的关键。想要成为 DevOps 工程师,掌握自动化工具很有必要。
监控和报警工具
DevOps 持续集成和持续部署的实现离不开持续监控的辅助作用。许多微服务都是由数百个组件组合而成,其中一个服务的故障可能导致整个系统崩溃。当然,手动找到核心故障问题是很复杂和耗时的。其中一个解决方案就是持续监控关键特征,如 RAM 使用、请求数量、异常数量和存储空间。因此,需要根据系统的关键特性设置一个警报系统。例如,当存储空间使用率达到 80% 时应该触发警报,以便 DevOps 运维开发人员可以在整个系统崩溃之前解决问题。
三、具有成熟编码标准的特定编程技能
然编程能力是每个开发者最基本的能力,但 DevOps 工程师在这方面仍然有一些更特殊的要求。
通常来说,DevOps 工程师需要在专精 1-2 门编程语言的基础上熟悉多种语言,例如 Java、JavaScript、Ruby、Python、PHP、Go 等,这是由微服务时代同一系统不同服务可以由不同语言、不同框架实现的特性而决定的。DevOps 工程师至少需要了解这些语言的特性并具备在操作系统环境中编写和调试它们的能力。
四、技术支持和维护技能
优秀的 DevOps 工程师不仅需要开发方面的技能,有时还需要为客户提供维护和技术支持。这意味着 DevOps 工程师应该乐于为内部和外部客户提供支持,并在出现问题时进行故障排除。
DevOps针对部署自动化运维有什么作用?
DevOps有强大的部署自动化手段，可以确保部署任务的可重复性、减少部署出错的可能性，因为DevOps能够减少应用程序的变更范围并弥补开发与运营部门间的技能和沟通鸿沟。例如和我们公司合作的众安DevCube平台，DevCube通过打通项目管理、CI/CD、自动化测试、智能监控、代码质量等平台，打造具有企业特色的DevOps工具链体系，整合业务、产品、研发、运维等角色端到端的协作过程，提供敏捷项目管理、高效自动化测试体系、自动化运维等实践，完整覆盖DevOps体系的研发域、发布域、测试域和运维域，从业务链路上贯通研发、运维全流程，帮助各个业务团队提升开发效率、降低研发成本投入。可访问官网联系客服试用
DevOps的设计实践
起初对于DevOps的概念的理解仅仅停留在“使用Bamboo自动化部署服务到指定环境上”，当我们开始尝试着对DevOps的流程开始做推广，首先确定的方案是，推动各组使用Bamboo做CI/CD的集成，第二是针对当前项目面临管理混乱的痛点问题，进行项目发版采用语义化版本管理。但正如康威定律所言，“设计系统的组织其产生的设计等价于组织间的沟通结构。”，我们不能仅仅在一次讨论中确定的方案就企图变革组织间的长达几年的沟通协作习惯。并且DevOps也不简单是一个普适的解决方案，它是一个 平台（Platform）、流程（Process）和人（People）的有机整合。
根据 martinfowler博客 中发表的对DevOps文化的见解（如下图），他认为DevOps文化中最重要的原则是 责任共担和质量导向 。在这点上，我认为我司有天然的优势，在项目开展的初期，包括当前项目运行生命周期中，研发包揽了大部分运维工作。可以说我们不从来不缺敢于担责的“勇士”。但同时，在我司大幅扩招的现状中，加强流程管理，保证这种文化的延续，同时在人员流动中能动态的加强文化导向，这是DevOps指导思想中重要的一环。
工具 = 平台+ 流程，首先，平台最重大的意义是承载企业内部的标准化流程，平台固化的每种流程，都可以用来解决某些实际问题，这样就会形成一下特征：
通过平台赋能，所有人都能以相同的操作，获得相同的结果。这样一来，跨领域之间的交接和专家就被平台所取代，当一件事情不再依赖于个人的时候，等待的浪费就会大大降低，平台就成了组织内部的能力集合体。
任何方法论不结合企业实际的现状来分析都是耍流氓（无处不在的康威定律），那么对于我司的实际现状，建立这一套体系能解决哪些问题呢？在和研发童鞋讨论问题的时候，能看到他们往往是处于只见树木不见森林的状态，整个“森林”往往是被少数的人所掌握的，这点在季度述职时候已经被不少人提出来过。诚然我们作为安全公司，部分产品是敏感且需要保密的，但是从整个层次和架构来讲，我们需要适配一套流程，达到 对技术开放，对数据加密 ，安全的流程正是SecDevOps需要解决的问题。同时这也很切合“三步工作法”中 流动 原则，只有 把复杂的流程简单化，可视化 我们才有机会让更多的人看见森林。而目前结合生态，软件交付的效率和质量成了当今企业的核心价值和核心竞争力，DevOps作为软件工程的第三次革命，总结来看它的价值体现在以下两点：
让一切软件交付过程的手动环节，都是未来可以尝试进行优化的方向。DevOps倡导职责共担，持续改进是需要将规则内建于工具之中，并通过工具来指导实践。如果仅仅是把线下的流程搬到线上执行，是没法发挥DevOps真正的价值。说到底，工具没法解决人的问题，这样一条看似取巧的路径，却没法解决企业的根本问题。这时候，就需要文化闪亮登场了。
总而言之，DevOps 中的文化和工具，本身就是一体两面，我们既不能盲目地奉行工具决定论，上来就大干快干地采购和建设工具，也不能盲目地空谈文化，在内部形成一种脱离实际的风气。我们要做的是 关注价值、关注现状、交互式流程和反馈、协作和可视化、自动化和持续优化、极简原则和关注实践。
敏捷管理不仅仅与研发敏捷，同时也要针对于业务敏捷， 开发更少的功能，聚焦用户价值，持续快速验证，就成了产品需求管理的核心思想。
另外通过“研发一体化流程”图示，我们也能见微知著。在我司目前在产品使用JIRA的看板形式做需求管理，这套流程在敏捷业务管理中已经有很好的天然优势， 我们需要做的是打通产品和开发的交流屏障 ，这部分流程以及功能，在我们的排期中暂时靠后，现未有具体实施方案，目前仅给出 BizDevOps 的核心理念：
关于持续交付功能，是初期内我们重点投入的阶段，这也是作为研发真正的用武之地，首先面临着第一个问题，自研OR开源？在我们开始做DevOps之前，已经有了部分在用的优秀开源工具作为支撑点，Jira、Bamboo、BitBucket。这些工具一定程度上减少了我们初期的工作量，在后续的项目计划中，我们做了基础存储，权限、DevOps流程等多方调研。关于存储和权限这类基础架构目前都有着成熟的开源解决方案。但是DevOps流程关联公司TOG的业务性质，以及目前的项目现状，我们选择自研平台，主要的规划方向有：
1.版本控制、变更管理
主要核心思想是： 版本变更标准化，将一切纳入版本控制，全流程可追溯和单一可信数据源。 ，一套标准化的规则和行为习惯，可以降低协作过程中的沟通成本，一次性把事情做对，这也是标准和规范的重要意义。
2.持续构建和持续集成、部署与发布的模式
主要核心思想是：用自动化的方式完成从项目编译到发布的流程
3.环境的搭建管理、元数据、初始数据的管理
这是目前我们项目发布中的瓶颈，配置、初始化数据应当纳入版本控制，同时制定标准的业务流程；
4.度量与反馈
针对于交付效率、交付能力、交付质量做指标统计，以及建立可视化平台。主要的指标包括， 需求前置时间、开发前置时间、发布频率、发布前置时间、交付吞吐量、线上缺陷密度、线上缺陷分布 等。
5.内建质量、保证测试
内建质量有两个核心原则 ：
在为期近4个月的DevOps实践中，我们主要做了三件事情， 部分项目Bamboo的集成、基础架构的建设、DevOps平台的开发 。
初期我们做了一些关于DevOps的调研和实践，在 尽可能采用开源项目 的原则上，依赖于现有的技术结构，摸出了一套关于Bamboo的使用流程
开源OR自研？这永远是一个需要不断权衡和取舍问题，之前我们已经谈论到持续交付要做的事情有哪些，当开源组件不能Cover我们当下的流程，自研平台自然得上线了
基于上图我们可以看到FlowDevOps平台的基本的交互和流向。平台开发到现在经历了四个小版本的迭代，主要包含以下几个特性：
值得一提的是，我们选型了Jinja2作为配置模块统一管理，对各个环境公共组件的地址存放与平台，保证了服务离线部署中各类连接出错的问题。同时这种方式对业务的侵入较小，符合我们短期内提升部署效率的预期。
诚然，DevOps的建设在短期内已经做了不小的工作量，但是还是存在一定程度的问题。包括以下方面：
根据全球云计算峰会成熟度模型预估来看
在我司云原生于我们似乎是非常遥远的，陌生的技术栈，各类反直觉的故障。但是为什么我还是坚持认为云原生是我们未来建立DevOps，以及发展基础设计的最佳实践呢？引用CNCF对云原生的官方定义：
关键词有 开源软件、微服务应用、容器化部署和动态编排 ，虽然我们目前部分业务场景有传输相关的瓶颈，容器化则可能带来更大的存储体积。但从宏观角度来看，这并不是大部分项目的现状，而我们更多的项目核心的问题在于 数据量大、业务和配置复杂、依赖模块多 。而云原生应用天生就和DevOps 是绝配，自带高可用、易维护、高扩展、持续交付的光环，同时原生支持微服务、不可变基础设施以及服务网格这些技术领域，能天然解决业务复杂，依赖模块多的现状。
这也是我在基础设施建设工作中，坚持积累云原生技术方案的原因，云原生的技术方案，我始终认为它能大大推进我司效率建设和技术发展。即便我们在云原生的方案技术积累还不足够，比如还不能确认大数据在容器中运行的效率这类技术问题，但是当我们建设起更具效率的运营一体化流程，也就有更多的资本去进行试错，这片星辰大海等待我们去探索。
我们都期待完美，但在绝大多数时候，任何事情都不可能完美。软件更是如此，DevOps亦是如此。我们能做的就是基于每次的反馈，一点点的改进流程，一次次的反思提高。在不断的持续改进中，可能永远触及不到完美，但是就像美国著名女演员莉莉·汤姆林（Lily Tomlin）的那句经典名言所说的那样： The road to success is always under construction.（通往成功的道路，永远在建设之中） 。
阿里云 云效Devops流水线Flow自动化部署Docker项目
Dockerfile
1、新建流水线
2、选择模板
4、选择阿里云容器镜像服务仓库构建镜像
5、添加新任务选择Docker部署
6、选择主机
7、部署脚本
8、保存并运行发布
9、回滚操作
什么是DevOps
什么是DevOps？
DevOps 是一套实践、工具和文化理念，可以实现软件开发团队和 IT 团队之间的流程自动化和集成。它强调团队赋能、跨团队沟通和协作以及技术自动化。
DevOps 运动始于 2007 年左右，当时软件开发和 IT 运营社区开始担忧传统的软件开发模式。在此模式下，编写代码的开发人员与部署和支持代码的运营人员会独立工作。DevOps 这一术语由“开发”和“运营”两个词构成，它反映了将这些领域整合为一个持续流程的过程。
DevOps 如何运作？
DevOps 团队包括开发人员和 IT 运营人员，他们在整个产品生命周期中进行协作，以提高软件部署的速度和质量。这是一种全新的工作方式，也是一种文化转型，对团队及其工作的组织具有重大影响。
在 DevOps 模式下，开发和运营团队不再是“孤立”的。有时，这两个团队会合并为一个团队，合并后工程师会参与整个应用生命周期中的工作（从开发和测试到部署和运营），并具备多学科的技能。
DevOps 团队使用工具实现流程自动化，并加速流程，这有助于提高可靠性。DevOps 工具链可帮助团队处理重要的 DevOps 基础事项，包括持续集成、持续交付、自动化和协作。
DevOps 的价值有时也会应用于开发团队以外的团队。当安全团队采用 DevOps 方法时，安全性则成为开发过程中一个活跃的组成部分。这就是所谓的 DevSecOps。
DevOps 生命周期
由于 DevOps 的连续性，从业人员使用无限循环来展示 DevOps 生命周期各个阶段之间的相互关系。尽管看似是按顺序进行的，但此循环实际表示需要在整个生命周期进行持续协作和迭代改进。
DevOps 生命周期由六个阶段组成，它们分别代表开发（循环的左半部分）和运营（循环的右半部分）所需的流程、功能和工具。团队会在每个阶段进行协作和沟通，以保持一致性、速度和质量。
规划
DevOps 团队应采用敏捷开发实践来提高速度和质量。敏捷开发是一种用于项目管理和软件开发的迭代方法，可帮助团队将工作分解成更小的部分，从而提供增量价值。
构建
Git 是一个免费的开源版本控制系统。Git 可为分支、合并和重写存储库历史记录提供出色的支持，而这已为开发构建流程带来了众多极具创新且功能强大的工作流和工具。
持续集成和交付
CI/CD 可让团队频繁且可预测地发布高品质产品，其范围涵盖从源代码存储库到使用自动化工作流的生产环节。团队可以频繁地合并代码变更、部署功能标记以及集成端到端测试。
监控和警报
快速识别并解决影响产品正常运行时间、速度和功能的事务。自动通知您团队有关变更、高风险操作或故障的信息，以便保持服务的运行。
运维
管理面向客户的端到端 IT 服务交付。这包括设计、实施、配置、部署和维护支持组织服务的所有 IT 基础架构过程中涉及的实践。
持续反馈
DevOps 团队应对每个版本进行评估，并生成报告以改进未来版本。通过收集持续反馈，团队可以改进其流程，并采纳客户反馈以改进下一个版本。
DevOps 工具
DevOps 工具可应对 DevOps 生命周期的关键阶段。它们通过帮助改进协作、减少上下文切换、引入自动化以及实现可观察性和监控功能来支持 DevOps 实践。
DevOps 工具链通常遵循两种方法：一体化或开放式工具链。一体化工具链提供完整的解决方案，通常不会与其他第三方工具集成。开放式工具链则允许使用不同工具进行自定义。这两种方法各有优缺点。
DevOps 有哪些优势？
有“2020 年 DevOps 趋势调查”表明，99％ 的调查对象表示 DevOps 对他们的组织产生了积极影响。DevOps 的优势包括更快且更轻松的发布、团队效率、更高的安全性、更高品质的产品，以及更高的团队和客户满意度。
速度
更频繁地实践 DevOps 发布可交付成果的团队具有更高的品质和稳定性。事实上，DORA 2019 年 DevOps 状况报告发现，精英团队的部署频率和速度分别比表现不佳的团队高出 208 倍和 106 倍。持续交付使得团队可以使用自动化工具来构建、测试和交付软件。
改进协作
DevOps 的基础是开发人员和运营团队之间的协作文化，他们会分担责任，协调工作。此举可以提高团队的效率，并省去工作交接和编写专为其运行环境而设计的代码的时间。
快速部署
通过提高发布的频率和速度，DevOps 团队可以快速地改进产品。快速发布新功能和修复缺陷有助于获得竞争优势。
质量和可靠性
持续集成和持续交付等实践可确保变更正常运行且安全无误，从而提高软件产品的质量。监控则有助于团队实时了解性能。
安全性
通过将安全性集成到持续集成、持续交付和持续部署管道中，DevSecOps 成为开发过程中一个活跃的组成部分。通过将主动安全审计和安全测试集成到敏捷开发和 DevOps 工作流中，可将安全性植入产品内。
采用 DevOps 会面临哪些挑战？
原有的习惯很难改变。深陷孤立工作方式的团队可能会难以应对，甚至抗拒彻底改变团队结构以采用 DevOps 实践。某些团队可能会错误地认为有了新工具就足以采用 DevOps。但是，DevOps 是人员、工具和文化的结合。DevOps 团队的每一个人都必须了解整个价值流，从构思、开发到最终用户体验。它要求打破孤岛，以便在整个产品生命周期中进行协作。
Devops 不是任何一个个人的工作，而是每个人的工作。
从传统的基础架构转向使用基础架构即代码 (IaC) 和微服务可以加快开发和创新速度，但增加的运营工作量可能极具挑战性。最好为自动化、配置管理和持续交付实践奠定坚实的基础，以帮助减负。
过度依赖工具会使团队偏离 DevOps 的必要基础：团队和组织结构。一旦建立了结构，就应该建立流程和团队，然后确定工具。
如何采用 DevOps？
首先，采用 DevOps 需要致力于评估且可能更改或删除组织当前所用的所有团队、工具或流程。这表示需要构建必要的基础架构，以便团队能够自主构建、部署和管理其产品，而不必过分依赖于外部团队。
DevOps 文化
DevOps 文化是指团队采用新工作方式（包括加强合作和沟通）的环境。这是人员、流程和工具的协调一致，以实现更加统一的客户导向服务。多学科团队负责产品的整个生命周期。
持续学习
在 DevOps 方面表现良好的组织鼓励进行实验和一定程度的冒险。在这些组织中，跳出固有思维模式是常态，而失败则被理解为学习和进步的自然组成部分。
敏捷
敏捷开发方法在软件行业中非常受欢迎，因为它们赋予了团队内在的灵活性、出色的有序性以及响应变化的能力。DevOps 是一种文化转型，可促进软件构建和维护人员之间的协作。搭配使用敏捷开发和 DevOps 时，可提高效率和可靠性。
DevOps 实践
持续集成
持续集成是将代码更改自动集成到软件项目中的实践。它允许开发人员频繁地将代码更改合并到执行构建和测试的中央存储库中。这有助于 DevOps 团队更快速地修复缺陷、提高软件质量以及缩短验证和发布新软件更新所需的时间。
持续交付
持续交付通过自动将代码更改部署到测试/生产环境中来扩展持续集成。它会沿着持续交付管道推进。而在此管道内，自动化构建、测试和部署会被编排为一个发布工作流。
情境意识
对于组织中的每个成员来说，能够访问他们需要的数据以尽可能高效和快速地完成他们的工作可谓至关重要。团队成员需收到部署管道中的故障警报（无论是系统性故障还是由于测试失败引起的故障），并及时收到在生产中所运行应用的运行状况和性能的最新信息。指标、日志、跟踪、监控和警报都是团队了解其工作进展所需的重要反馈来源。
自动化
自动化是其中一个最重要的 DevOps 实践，因为它能让团队更快速地完成高品质软件的开发和部署流程。利用自动化，将代码变更推送到源代码存储库的一个简单操作便可触发构建、测试和部署流程，从而大大减少这些步骤所花的时间。
基础架构即代码
无论您的组织是拥有本地数据中心，还是完全托管在云中，能快速、一致地调配、配置和管理基础架构是成功采用 DevOps 的关键。基础架构即代码 (IaC) 不仅仅是编写基础架构配置脚本，它还将基础架构定义视为实际代码：使用源控制、代码审查、测试等。
微服务
微服务是一种架构技术。在此技术中，应用被构建为一系列可以相互独立部署和运行的小型服务。每个服务都有其自己的流程，并通过接口与其他服务通信。这种关注点分离和剥离的独立功能支持 DevOps 实践，例如：持续交付和持续集成。
监控
DevOps 团队监控从规划、开发、集成和测试、部署到运营的整个开发生命周期。如此一来，团队就能迅速、自动地对客户体验中的任何降级做出响应。更重要的是，它允许团队“左移”至开发的早期阶段，并最大程度地减少具有破坏性的生产变更。
开始使用 DevOps
开始使用 DevOps 的最简方法就是识别小型价值流（例如：小型支持应用或服务），然后开始尝试一些 DevOps 实践。与软件开发一样，与一小群利益相关者一起转换单个数据流比尝试在组织内一次性过渡至全新的工作方式要容易得多。