Gartner 2021年十大数据和分析趋势

wxdhero

(文：Gartner研究总监 孙鑫 ）在新冠疫情肆虐时，使用传统分析技术并因此而严重依赖大量历史数据的企业意识到了一件重要的事情：许多此类模式已不再有用。这场疫情几乎改变了一切，令许多数据失去了作用。而具有前瞻性的数据和分析团队正在从依靠“大”数据的传统人工智能技术转向数量较少、但更加多样化的“小”数据。Gartner发布的2021年十大数据和分析趋势之一便是从大数据转向小而宽的数据。这十大趋势是数据和分析领导者必须重视的业务、市场和技术动态。Gartner杰出研究副总裁RitaSallam表示：“这些数据和分析趋势可以帮助企业机构和社会应对未来三年的颠覆性变革、巨大不确定性以及它们所带来的机遇。数据和分析领导者必须主动研究如何顺势而为，根据这些趋势做出加快自身预测、转变和应对能力的关键任务投资。”每一项趋势都可以归入以下三大主题之一：加速数据和分析变革：运用AI创新、经过改进的可组合性以及多元化数据源的敏捷、高效整合。通过更有效的XOps实现业务价值的运营：优化决策并将数据和分析转化为业务的一个组成部分。分布式实体（人和物）：需要灵活地将数据和洞察力联系起来，以增强更多的人和物的能力。
趋势一：更智能、更负责、可扩展的AI（Smarter, more responsible,scalable AI）更智能、更负责、可扩展的AI将优化学习算法，使系统更具说明性并加快价值实现速度。企业机构将开始对人工智能系统提出更多的要求，它们需要明确如何扩大技术规模。但到目前为止，这仍是一个难题。传统人工智能技术严重依赖历史数据，而新冠疫情给业务环境所带来的改变使历史数据失去作用。这意味着人工智能技术必须能够通过“小数据”技术和自适应机器学习来依靠较少的数据运行。为了成为遵循道德约束的人工智能，这些人工智能系统还必须保护隐私、遵守法规并尽量减少偏见。趋势二：组装式数据分析架构（Composable data and analytics）组装式数据分析架构使用来自多个数据、分析和人工智能解决方案的组件来获得灵活、对用户友好且实用的体验，让高管能够将数据洞见与业务行动相联系。Gartner客户问询显示，大部分大型企业机构都有一个以上的“企业标准”分析和商业智能工具。将多个业务能力组件组合成新的应用可促进生产力和敏捷性。组装式数据分析不但可以鼓励合作、提高企业机构的分析能力，还可以增加分析的使用。趋势三：数据编织是基础（Data fabric as the foundation）随着数据的日益复杂以及数字化业务的加速发展，数据编织架构已成为支撑组装式数据分析及其各种组件的基础架构。由于在技术设计上能够使用/重复使用及组合不同的数据集成方式，数据编织可缩短30%的集成设计时间、30%的部署时间和70%的维护时间。另外，数据编织既可以运用现有的数据中枢、数据湖和数据仓库的技术和技能，也可以在未来加入新的方法和工具。趋势四：从“大”数据到“小”而“宽”的数据（From big to small and wide data）面对日益复杂的人工智能问题及数据用例稀缺方面的挑战，企业机构正用小而宽的数据取代大数据来解决许多问题。凭借“X分析”技术，即使用宽数据分析各种小而多样化（宽）的非结构化和结构化数据源并发挥它们的协同效果，从而增强情境感知和决策。顾名思义，小数据指的是能够使用所需数据量较少，但仍能提供实用洞见的数据模型。趋势五：XOpsXOps（数据、机器学习、模型、平台）的目标是运用DevOps的最佳实践实现效率和规模经济，在保证可靠性、可重用性和可重复性的同时，减少技术和流程的重复并实现自动化。这项技术将实现原型的扩展并为受管辖的决策系统提供灵活的设计与敏捷的协调。总体而言，XOps将使企业机构能够通过数据和分析的运营化来推动业务价值的实现。趋势六：工程化决策智能（Engineered decision intelligence）工程化决策智能是一门包含传统分析、人工智能和复杂自适应系统应用等广泛决策的学科。工程化决策智能不仅适用于单个决策，还适用于连续的决策。这项技术可以将决策编组成为业务流程，甚至为新兴决策网络。凭借这项技术，企业机构能够更快获取推动业务行动所需的洞见。当与可组装性和通用数据编织架构相结合时，工程化决策智能将为企业机构决策优化方式的重新考量或重新设计带来新的可能性并提高决策的准确性、可重复性和可追溯性。趋势七：数据和分析成为核心业务功能（Data and analytics as a core business function）企业领导者正逐渐了解到使用数据和分析来加速数字化业务计划的重要性。数据和分析不再只是一个由独立团队负责完成的次要重点，而是转变为一项核心功能。但企业领导者往往低估了数据的复杂性，最终错失良机。如果首席数据官（CDO）能够参与目标和战略的制定，那么他们就可以将业务价值的持续产出效率提高2.6倍。趋势八：图技术使一切产生关联（Graph relates everything）图技术已成为现代数据和分析的基础，能够增强并改进用户协作、机器学习模型和可说明的人工智能。虽然图技术对数据和分析而言并不是一项新鲜的事物，但随着企业机构发现的用例日益增加，围绕图技术的思维方式已发生转变。事实上，在关于人工智能的Gartner客户问询中，有多达50%的问询涉及到有关图表技术使用的讨论。趋势九：日益增多的增强型数据消费者（The rise of the augmenter consumer）以前的企业用户受限于预定义仪表盘和手动的数据探索。一般情况下，只有探索预定义问题的数据分析师或公民数据科学家才能使用数据和分析仪表盘。但Gartner认为，未来这些仪表盘将被自动化、对话式、移动式和动态生成的洞见所取代，而且这些洞见均根据用户需求定制并被交付至用户需要消费这些数据的时候，使企业机构中的任何人都能获得原来只有少数数据专家才能掌握的洞见和常识。趋势十：数据和分析正在向边缘移动（Data and analytics at the edge）存在于传统数据中心和云环境之外的数据分析技术开始增加，它们正在向物靠近。这能够减少或杜绝以数据为中心的解决方案所产生的延迟并增加实时价值。通过将数据和分析转移到边缘，数据团队将有机会扩展自身的能力并将变化延伸到业务的不同部分。同时，这还解决了因法律或监管原因而无法从特定地域移动数据这一问题。