《移动云&大数据技术标准推进委员会：2024算力网络数据库白皮书（33页）.pdf》由会员分享，可在线阅读，更多相关《移动云&大数据技术标准推进委员会：2024算力网络数据库白皮书（33页）.pdf（33页珍藏版）》请在本站上搜索。 1、算力网络数据库白皮书中国移动云能力中心中国移动云能力中心大数据技术标准推进委员会大数据技术标准推进委员会2022024 4年年9 9月月1目录一、算力网络产业现状.2（一）算力网络理念的诞生.2（二）算力网络发展现状.3二、数据库产业迈向算力网络时代.5（一）无需关注地域.6（二）无需关注资源.7（三）无需关注业务负载.8三、算力网络数据库应用场景.9（一）云数据库智能构建.9（二）云数据库并网.10（三）数据算力服务.11（四）数据智能服务.12（五）全域数据流通与治理.12（六）安全数据交换.13四、算力网络数据库关键技术.14（一）云原生统一平台底座.15（二）跨域分布式编排.18（三）2、数据库内核云原生化.20（四）智能融合数据处理.22（五）数据库和 AI 双向赋能.23（六）全域数据流通.27（七）数据库任务式服务.28五、产业发展倡议.29（一）问题和挑战.29（二）发展倡议.30白皮书参编单位和人员：.322一、算力网络产业现状（一）算力网络理念的诞生（一）算力网络理念的诞生近年来，数字经济的新引擎作用愈加凸显，其发展速度之快、辐射范围之广、影响程度之深前所未有。数字经济时代，新技术、新业态、新场景和新模式不断涌现，由此带来了的数据量持续增长，各行各业对算力和网络提出了更为迫切的需求。同时随着摩尔定律趋近于极限，面对不断倍增的算力和网络需求，通过网络集群化优势突破单点3、算力的性能极限，提升算力的整体规模，成为了产业界共同关注的热点。我国率先提出算力网络这一原创性技术理念，并陆续出台了多项政策，加快构建以算力和网络为核心的新型基础设施体系。2021 年 5月，国家发改委等四部委联合出台全国一体化大数据中心协同创新体系算力枢纽实施方案，明确提出布局全国算力网络国家枢纽节点。2023 年 10 月，国家工信部等六部门联合出台算力基础设施高质量发展行动计划，明确提出了到 2025 年发展量化指标。同年 12 月，国家发展改革委等五部门联合印发深入实施“东数西算”工程 加快构建全国一体化算力网的实施意见，打造中国式现代化的数字基座。中国移动主动拥抱产业变革，深度把握行4、业趋势，大力推动技术发展和服务创新。在实施“5G+AICDE”计划促进社会数字化转型、布局多层次数据中心提供高品质移动云服务、推进多样化算力构筑产业健康生态、探索算网融合新技术推动算网一体发展等实践的基础上，提出了“算力网络”的新发展核心理念：3以算为中心、网为根基，网、云、数、智、安、边、端、链（ABCDNETS）等深度融合、提供一体化服务的新型信息基础设施，实现“算力泛在、算网共生、智能编排、一体服务”，逐步推动算力成为与水电一样，可“一点接入、即取即用”的社会级服务，达成“网络无所不达、算力无所不在、智能无所不及”的愿景。水力发展离不开水网，电力发展离不开电网，算力发展离不开“算力网络”5、。为了让用户享受随时随地的算力服务，发展算力网络需要重构网络，使其形成继水网、电网之后国家新型基础设施，打造“一点接入、即取即用”的社会级服务。图 1：中国移动算力网络三级架构（二）算力网络发展现状（二）算力网络发展现状我国在算力网络领域处于先发与主导地位。在标准领域，我国在2019 年国际电信联盟首次立项算力网络标准，并先后在国际互联网工程任务组、中国通信标准化协会等标准组织积极推进算网相关标准的制定。在产业领域，我国已逐渐形成算力网络软硬件基础设施及平台与应用服务的上中下游完整产业链，初步巩固了我国在算网领域的主4导地位。其中产业链上游，一方面由国家新基建、信创等政策指引，推动了算网新型基6、础设施的自主设计研发与创新落地；另一方面由东数西算、5G 网络与大数据等国家重大工程驱动，推进了大算力、高性能、低功耗与高可靠算网软硬件基础设施的研发产业化落地。产业链中游旨在提供算网一体化管理与运营交易的平台服务能力，促进计算与网络基础设施从过去的割裂形态走向深度融合。产业链下游通过构建多样化的算网应用服务，并基于创新的商业模式向用户提供算网服务，实现算网的价值流通与落地。算力网络规划了“泛在协同”“融合统一”“一体内生”三个发展阶段，推动算力网络取得广泛共识，原创技术多点突破，核心理念和关键技术融入国家规划，上升为国家战略方向。发展过程既有基础设施的继往开来，也有技术创新的科学高峰，是工程7、+技术的有机结合。图 2：中国移动算力网络发展三阶段但目前算力网络仍面临着网络顶层设计不统一，核心技术不成熟，权威公信的算力交易平台尚未建立等问题，需要进一步打造算力网络原创技术，推动算力网络更高质量发展，以落实国家新基建部署要求、引领信息基础设施演进以及驱动经济新一轮增长。通过技术创新升级，破解关键技术“卡脖子”难题，为产业升级和融合发展提供安全稳定的增长动能。5二、数据库产业迈向算力网络时代数据库行业已历经半个多世纪，早前商业数据库蓬勃发展，到新千年开源数据库逐步崭露头角，随后互联网和云计算兴起，数据库行业整体进入云原生时代。从部署形态来看，根据 IDC 统计，数据库公有云部署已经超过本地8、部署，云成为数据库的主流形态。从厂商演进来看，Gartner 的 DBMS 厂商市场排名中，云厂商已经代替传统独立数据库厂商占据行业头部，引领数据库行业发展。通过云原生技术，数据库可以实现资源池化和极致弹性，具备高扩展性、高可用性、跨地域规模、低成本等优势，为用户提供随需而动、按需付费的云原生数据库服务。算力网络被认为是云计算下一个演进形态，数据库产业也逐步迈向算力网络时代。算力网络的崛起，以其强大的计算能力和灵活的网络架构，为数据库产业注入新的活力。算力网络通过高速、低延迟的网络连接，将海量的计算资源进行有效整合和调度，为数据库提供了前所未有的处理能力和扩展性。这使得数据库能够应对更为复杂、9、多变的数据需求，为业务提供更为精准、高效的数据支持，进一步推动数据价值的最大化。在此基础上，中国移动创新性提出算力网络数据库理念，以及其应具备的三个显著特征。6图 3：中国移动算力网络数据库理念（一）无需关注地域（一）无需关注地域随着社会数字化转型进程不断加速，数据应用程度不断加深，数据的存储和分布呈现跨域、多云等特点。同时用户需要综合考虑成本、性能、网络延迟、容灾等多种因素，数据库系统的构建和管理愈加复杂。较传统云数据库不同，算力网络数据库最显著的差异就是彻底屏蔽“地域”这一要素，能够根据用户具体需求自动优化资源配置，轻松实现全球数据库、异地多活、三地五中心等数据库部署需求。在这一过程中，算10、力网络数据库会综合考虑多个关键因素，包括但不限于资源成本效益、数据传输与处理的时延要求、数据安全性保障级别以及容灾恢复能力等，对算力网络各类资源供给（包括不同物理区域、云边端分布式算力、多云供应商等）进行快速评估与筛选，来为用户量身定制最优化的数据库配置方案，确保在满足性能要求的同时，为用户节省成本开支。针对用户对时延的严格要求，数据库会智能的选择地理位置上最接近用户或数据传输路径最优的资源节点，以最小化数据传输延迟，提升用户体验。针对可能发生的自然灾害、系统故障7等风险，数据库还会根据容灾等级要求，自动部署数据备份与恢复策略，确保在任何突发情况下，用户的数据都能得到及时有效的保护与恢复。总体11、而言，算力网络数据库通过其强大的资源配置和调度能力，彻底颠覆了传统云服务中用户需要手动选择数据库部署资源池和架构的繁琐流程。它让数据服务变得更加高效、便捷、安全且成本可控，为用户在数字化转型的道路上提供强有力的支持。（二）无需关注资源（二）无需关注资源算力网络作为新一代信息技术的重要基石，其核心价值在于实现了全域范围内计算资源与网络资源的高度融合与无缝对接。通过先进的虚拟化、云原生及 AI 智能调度技术，算力网络彻底打破了传统计算与网络架构的界限，构建起一个智能化、精准化的全域算网资源调度体系，形成了一个灵活、高效、可扩展的资源池。在这一体系下，算力网络数据库用户得以享受到前所未有的便利与高效12、。他们不再受限于特定的资源池或地理位置，而是能够跨越所有界限，在全域范围内自由访问和利用 Serverless 服务。Serverless服务以其“按需付费、无需运维”的特性，极大地减轻了用户的负担，使他们无需再为资源的配置、扩容、缩容以及日常维护等琐碎事务而分心。相反，用户可以将更多的精力与资源投入到业务的实现与创新上，加速产品的迭代升级，提升市场竞争力。8（三）无需关注业务负载（三）无需关注业务负载算力网络数据库不断深化服务模式，以更加贴近用户实际需求的方式提供强大的数据处理能力。在这一理念的推动下，算力网络数据库进一步推出任务式服务，彻底革新用户与数据库交互的方式。任务式服务的核心在于其13、高度的自动化与智能化特性，用户不再需要面对复杂多样的数据库选型难题，也无需深入了解每种数据库的特性与适用场景。算力网络数据库构建了一个统一的入口，作为所有数据任务的接收与处理中心，简化用户的操作流程，并极大地提升数据处理的效率和准确性。用户只需简单地提交数据任务，无论是数据查询、数据分析、数据迁移或是智能计算，算力网络数据库都能立即感知并智能化地对任务进行深入的解析与评估，以确定最适合的处理策略和资源配置方案。此外，任务式服务还可以通过更接近人类交流模式的自然语言交互来进行，从而极大的简化数据库操作步骤和降低使用门槛，让非技术人员也能轻松的开展数据分析，加速数字化的普及。9三、算力网络数据库应14、用场景算力网络数据库将全面革新数据库的资源配给、构建和交互模式，大大提升数据库服务的灵活性和用户体验。围绕当前数据库使用的痛点和未来畅想，本章列举了算力网络数据库的一些典型应用，但算力网络数据库的应用场景是不断涌现、不断创新的，需要联合产业界各方共同发掘和想象。（一）云数据库智能构建（一）云数据库智能构建传统云数据库服务以资源订购模式为主，需要繁琐的手动配置与调优，包括资源池位置、部署架构、产品版本、容灾配置、参数配置等等。而算力网络数据库则能帮助用户进行数据库的智能构建，极大地简化用户的操作流程和步骤。算力网络数据库能够深入洞察并精准理解用户的多样化使用场景需求，同时借助算网大脑强大的智能调15、度与编排能力，用户只需简单描述其业务目标、预期规模、访问量峰值、数据安全要求等关键信息，算力网络数据库便能智能化的进行需求识别并自动完成数据库的构建。在这一过程中，算力网络数据库不仅能够根据用户的具体需求，智能构建出高度定制化的数据库架构，还能综合考量性能、成本、可扩展性、维护便捷性等多方面因素，智能推荐出最优的产品组合和配置方案。这包括但不限于选择最适合的数据库类型（如关系型、非关系型、分布式等）、精确的规格配置（CPU 核心数、内存大小、存储类型与容量）、优化的资源配型策略（负载均衡、高可用集群配置）、细致的参数配置调整（缓存策略、索引优化、事务隔离级别等），以及最适合的部署区域选择以确保16、数据访问的低延迟与合规性。10数据库的智能构建让即便是非技术背景的用户也能轻松上手，快速部署并启动其业务应用。同时，通过实时监控与智能优化，算力网络数据库还能持续自我调整，确保数据库性能始终保持在最优状态。（二）云数据库（二）云数据库并网并网算力网络中的算力并网，旨在将不同主体、不同架构、不同地域的算力资源标准化互联，在本地算力资源不满足需求时，流动到另一个算力池进行计算，满足人工智能、边缘计算、工业计算等短时间、大数据量计算的场景，高效利用社会闲散资源。在这一过程中，数据库也需要跟随算力资源和数据服务类型来构建，因此云数据库并网也成为算力网络数据库的一个典型应用场景。通过统一的算力网络数据库17、服务平台，实现对三方数据库产品的标准化接入，广泛兼容并纳管市场上各类独立开源、商业数据库系统，以及多云厂商数据库服务，促进数据资源的整合与共享。用户能够跨越技术壁垒，轻松访问和利用多样化的数据库资源和服务，从而满足其在数据存储、处理、分析及业务应用等方面的多元化需求。算力网络数据库的多云管理能力，支持用户跨越多个云服务商的环境、使用多个云服务商的数据库能力，进行数据库的部署和应用。这种灵活性与兼容性确保了用户能够根据自身业务需求、成本考量及安全策略，自由选择合适的云数据库服务组合，实现资源的最优配置与利用。同时，算力网络数据库服务平台拥有标准且规范的运营、结算和服务保障体系，广泛的连接数据库产18、业上下游，助力数据库服务商与用户之间建立紧密的合作关系，共同推动整个行业的健康发展。一方面为用户提供多样化、高性价比的数据库产品以及服务保障，全面满11足用户需求。另一方面平台可为入驻服务商提供定制化的市场推广、技术支持及业务对接服务，助力其扩大品牌影响力，实现商业价值的最大化。通过吸引广大用户入驻，鼓励合作伙伴技术创新与共享，共同构建一个繁荣、活跃的算力网络数据库生态。（三）（三）数据算力服务数据算力服务算力网络数据库作为数据服务领域的一次重大革新，将传统的“资源式”服务模式全面升级为先进的“任务式”弹性数据库服务。这一转变的核心在于引入了任务即服务（Task-as-a-Service，或类19、比于 Serverless 架构）的概念，意味着数据库资源不再仅仅是静态分配给用户，而是能够智能地根据实际工作负载的动态变化，自动且即时地调整其容量与性能。这种高度灵活性和自适应性的服务模式，确保了资源的有效利用，避免了资源过剩或不足的情况，真正实现了按需付费、按量计费的经济高效模式。在算力网络数据库的架构下，所有算力资源被统一封装成一个高效、透明的服务层，有效屏蔽了底层多数据处理引擎之间的技术差异和复杂性。这一设计让用户无需关心数据存储在何种类型的数据库系统中，也无需具备处理多种数据处理引擎间兼容性的专业知识。用户只需通过统一的入口，即可轻松处理包括混合事务分析处理（HTAP）、多模数据处理20、（支持多种数据类型和模式）等在内的多种复杂工作负载。这种一体化的服务体验极大地简化了数据库管理的复杂度，提升了开发效率和业务响应速度。12（四）（四）数据智能服务数据智能服务在数据服务的未来趋势中，算力网络数据库不仅深耕于传统的 SQL交互模式，更是在交互体验上迈出了革命性的一步，引入了更为贴近人类自然交流方式的自然语言交互能力。这一创新让用户能够摆脱复杂的 SQL 语法束缚，直接以日常对话的形式输入查询请求，轻松访问并探索在线数据服务。无论是复杂的数据分析任务还是简单的信息检索，用户都可以通过自然语言轻松实现，极大地提升了数据查询与分析的效率和便捷性。算力网络数据库融合了最前沿的人工智能技术21、，具备强大的意图识别与理解能力，能够准确捕捉用户的查询意图，并将其转化为可执行的数据操作指令。用户可使用算力网络数据库开展融合检索与分析功能，能够跨越多源异构数据，实现全面、深入的数据挖掘与洞察。基于强大的数据智能引擎，算力网络数据库能够构建出企业级 AI 智能数据平台解决方案。这些解决方案不仅面向大型企业，满足其复杂、多变的数据处理需求，还能够灵活适应中小企业乃至个人用户的不同场景，开启了通往数据驱动决策的新大门。（五）（五）全域数据流通与治理全域数据流通与治理随着算力网络技术的不断演进与普及，一个涵盖云计算中心、边缘计算节点以及终端设备在内的泛在多位立体算力布局正逐渐成型。这一布局打破了传22、统计算资源的地理限制与架构壁垒，实现了计算能力的无缝连接与高效协同。在这一背景下，算力网络数据库作为核心的数据基础设施，承担着数据全域传输与流动的重任，使得数据在云、边、端之间的自由流通与高效共享成为可能。13算力网络数据库通过其先进的架构设计与数据管理技术，构建起全域数据的“一张图”视图。这一视图不仅直观展示了数据资产的分布情况与关联关系，更通过智能的数据整合与链接技术，有效连通了原本孤立的数据孤岛。无论是来自不同业务系统的结构化数据，还是社交媒体、物联网等非结构化数据，都能够在算力网络数据库的支撑下实现统一管理与高效利用。在此基础上，算力网络数据库还覆盖了数据从收集、汇聚、存储、治理到应用23、的全生命周期管理过程，形成一套完整的“汇、存、治、管、用”全流程数据治理体系。这一体系不仅提升了数据管理的效率与水平，更为数字化转型与智能化升级提供了坚实的数据支撑。（六）（六）安全数据交换安全数据交换算力网络数据库因为其多云的特点，具有强大的跨云交互和资源调度能力，可理解为是跨云、跨域的“数据中转站”和“数据工厂”，为多方数据安全流通和数据交叉分析构建起数据开放共享的基础设施。作为“数据中转站”，算力网络数据库承担着数据在不同云环境间传输与转换的重任。它采用先进的加密技术与安全协议，确保数据在传输过程中的安全性与完整性，为多方数据安全流通提供了坚实的保障。而作为“数据工厂”，算力网络数据库能24、够对海量数据进行清洗、整合、转换与挖掘，并提供丰富的数据接口与工具，来支持数据开放和交易、数据交叉分析等应用场景，如数据资产交易、风险评估、市场预测等。算力网络数据库帮助企业打破数据垄断，共享数据资源，进一步盘活数据资产的价值，在推动数据资产化、促进数字经济发展方面发挥着越来越重要的作用。14四、算力网络数据库关键技术在当前数字化转型的浪潮中，云数据库作为支撑企业数据存储、处理与分析的核心基础设施，已经展现出其强大的灵活性和可扩展性。随着算力网络时代的逐步到来，对数据库系统的要求也迈上了新的台阶。数据库由“云”向“算”的演进，可以分为四个阶段。图 4：云数据库四级演进示意L1-容器化部署：容器25、化和 K8s 已经成为事实上的云原生基础设施标准，是数据库的云原生化的必要条件。L2-存算分离：为应对云原生弹性、精准调度的需求，需要将数据库“打开”并分层解耦。L3-Serverless：当前云原生理念的最佳代名词，用户无需关注服务器和资源。L4-算力网络：进一步将云原生数据库特性扩展至全网、跨域、多云等场景，真正实现“任务式”服务。面向算力网络的数据库，不仅是对现有云数据库的一种超越，更是在架构、技术上的一次全面升级、深度演进与大胆创新。算力网络15数据库具备云原生数据库的基础技术特性，同时在跨域、分布式调度、多引擎融合等方向具有自身独特的技术内涵。图 5：算力网络数据库技术架构（一）（一26、）云原生统一平台底座云原生统一平台底座对数据库进行统一抽象和封装，打造通用管控能力，形成统一的算力网络数据库管控底座，支持各类云形态以及算力网络基础设施，包括多云和混合云场景，高效且低成本地管理数据库集群。数据库平台底座是算力网络数据库基础，以数据库统一管控、算网大脑统一调度为目标，融入算力网络整体架构中。1.容器技术云原生数据库的统一平台底座基于容器化和 Kubernetes(简称 K8s)构建。容器化技术将应用程序及其依赖打包到一个独立的容器中，包括应用程序代码、运行时环境、系统工具和库等。运行容器不需要启动一套完整的操作系统，是更加轻量级的应用间隔离方案，启动速度16更快，额外资源占用更27、少。容器中包含了应用程序运行所需的所有依赖，因此可以确保应用程序在不同环境下的一致性和可移植性。Kubernetes(简称 K8s)是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。经过多年的发展，和业界大规模的部署实践，K8s 已经成为事实上的容器编排平台标准，并支持多种容器运行时。K8s 集群由一个或多个主节点和工作节点组成。主节点负责管理集群的状态，包括调度、API 服务等。工作节点运行容器化的应用程序，并与主节点通信。2.算网数据库统一管控部署模式遵循 Service on Service 理念，统一基于通用 POD 的裸金属、云主机的 Serverless K8s 28、构建云数据库产品，实现云数据库的资源供给和叠加部署模式。部署形态上覆盖公有云、全栈专属云、边缘云等各种算力网络资源，功能上涵盖各个数据库系统的通用管控能力，包括生命周期管理、高可用、备份恢复、参数管理、监控告警、日志管理、账号管理、库表管理等。支持跨云调度和管理，可在多云或混合云环境中灵活部署，实现跨多个云平台的统一管理和监控，简化多云环境下的运维复杂度，避免对单一云服务提供商的依赖，提升系统灵活性和可靠性。此处提出一种结合算力网络的分布式数据库集群管理模型，不同的分布式数据库可以基于标准化的模型进行适配和实现，暴露一致的、能力对齐的管理和操作接口。通过标准体系的集成和适配，不同的分布式数据库29、厂商和工具厂商可以形成一个互通的生态系统。这种生态17系统的建立有助于知识共享、技术创新和用户体验的提升，算力网络的引入进一步增强了这个生态系统的智能化和高效性。该模型分为四个层次：Cluster、Component、InstanceSet 和Instance。每个层次都有明确的功能和职责边界，形成了一种清晰的分层设计。这种设计在引入算力网络的基础上，进一步优化了分布式数据库的管理和资源调度能力。Cluster 层：代表整个数据库集群，负责集群的整体管理与协调。通过算力网络，Cluster 层可以实时感知各节点的算力状态，动态调整计算任务的分配和资源调度。Component 层：代表集群中的一30、个功能组件，如主数据库、从数据库、代理节点等，负责组件级别的管理。算力网络使得 Component层能够依据算力状态进行智能化的资源配置和负载均衡。InstanceSet 层：代表某个组件的多个副本实例，支持副本角色管理、配置和资源差异化管理、健康检测、升级控制等功能。算力网络的引入使 InstanceSet 层能够感知各副本的算力状况，并根据实际需求动态调整角色和资源分配。Instance 层：代表单个数据库副本实例，与 Kubernetes 资源（如 Pod、PVC、Service、ConfigMap）进行映射，支持资源动态调整和多网络地址配置。通过算力网络，Instance 层能够实时调31、整资源配置，确保每个实例在最佳算力状态下运行。18（二）跨域（二）跨域分布式编排分布式编排随着业务的发展和集群规模的增长,单一地域基础设内的数据库实例调度无法满足海量数据处理、超大规模数据库集群管理、业务及时响应和成本控制等多方面的需求。算力网络构建跨地域（Regionless）一体化编排能力，全面接入数据库内核引擎，综合各节点的计算能力、负载情况、网络带宽等多要素进行数据库实例分布式云资源管理与调度，支持多种抽象算力接入，如边缘算力、异构算力、多云算力；实现低成本的跨地域容灾，支持地理位置无感的算力与网络调度，同时提升资源利用率和服务性能。跨域分布式编排调度需要处理的关键挑战包括网络延迟、分32、区容错、任务依赖和优先级管理、资源分配和负载均衡以及故障检测和恢复，包括以下核心能力:1.资源管理器（Resource Manager）：资源管理器负责监控和管理集群中的资源，包括计算资源、存储资源和网络资源等。它需要与调度器紧密协作，确保任务能够获得所需的资源。算力网络提供的地域无感知能力，可以让资源管理器低延时感知全网资源使用和资源的变更。在大规模集群的情况下，集群资源的状态信息和更新需要一个分布式的去中心化的方案配乐观并发锁来协调冲突，提高并发度。2.调度器（Scheduler）：调度器是分布式调度系统的核心，负责接收任务请求并根据预设的调度策略或者智能决策算法，将数据库实例分配到合适的33、节点。它需要考虑任务的优先级、依赖关系、执行节点的负载情况，资源可用性，负载之间的干扰，以及对业务的响19应延迟等因素。3.执行器（Executor）：执行器是任务的实际运行环境，它接收来自调度器的任务指令并执行具体的任务逻辑。执行器需要能够处理任务执行过程中的各种异常，并能够将任务状态和结果反馈给调度器。4.任务队列（Task Queue）：任务队列用于存储待执行的任务，调度器从任务队列中取出任务进行调度。任务队列需要能够处理高并发的任务请求，并保证任务的顺序和一致性。5.容错和故障恢复机制：在分布式环境中，节点故障是常态，因此调度系统需要具备容错能力，能够在节点故障时自动将任务重新分配给其34、他节点执行，保证任务的可靠性和高可用性。6.智能决策算法：利用机器学习、深度学习等算法，系统能够对收集到的数据，例如节点的资源利用率，调度的约束(例如亲和性反亲和性、对其他负载的依赖)，历史负载信息都能进行智能分析，生成最优的调度方案。7.持续优化算法：系统根据智能决策算法生成的方案，自动将任务分配给最合适的资源，并持续优化以提高效率。随着资源的变更和业务的调整，需要根据优化目标，对现有调度结果进行优化。8.自动扩展:根据调度算法的结果，按需对基础设施发起水平方向和垂直方向两个维度的自动扩展。横向扩展主要是自动添加节点，垂直扩展是指扩展节点资源。9.确保通信安全:编排调度系统涉及多云混合云的信35、息交互，20需要确保服务之间的通信安全。算力感知网络可以通过跨基础设施的资源情况，同时也提供了跨基础设施的网络层信息安全。基于算力感知网络的分布式编排调度系统，使其能在大规模、高并发的分布式环境中高效、稳定地运行，能在复杂的多云混合云环境中提供高效、可靠的服务管理。（三）（三）数据库内核云原生化数据库内核云原生化在算力网络数据库的架构中，数据库内核云原生化是一个关键特征，它通过存算分离，实现“四元解耦”和资源池化，极大地提升了数据库的可扩展性、高可用性和灵活性。这一创新设计将传统数据库架构中的核心元素计算、内存、日志、存储（外存）进行了深度解耦，使得各个组件能够独立扩展和管理，从而更好地适应云36、环境的动态变化。1.计算层计算层负责处理用户请求（即执行 SQL、事务处理等）核心计算任务。计算层与下层资源解耦，可根据业务需求动态调整计算资源，支持秒级扩展与回收。2.内存层内存层负责存储数据库操作中的临时数据和缓存数据，提升数据处理速度。内存层实现内存池化，通过分布式内存服务（DMS）支持主备节点间的实时内存页面交换，确保数据一致性和高可用性。3.日志层21日志层负责记录数据库操作的日志信息，用于恢复、复制等目的。日志层独立于计算和存储层，确保日志数据的可靠性和完整性，支持高效的事务处理和恢复机制。4.存储层存储层也即外存层，持久化存储数据库数据，包括用户数据、系统数据等。可通过分布式存储37、服务（DSS）实现存储池化，支持主备节点共享同一份存储资源，减少存储容量需求，同时提高数据读取效率和一致性。存算分离架构可以实现更高的资源利用率和灵活性，但用户原有存算一体架构在迁移时需要进行数据库改造。为了减少用户在云原生化过程中的数据迁移和改造工作，设计一种在存算分离基础上的融合架构，自适应用户负载，进一步实现数据共享与非共享访问模式的无感切换，无缝兼容存算一体架构，实现一套代码同时支持中小微客户需求。图 6：存算分离兼容存算一体示意22（四）智能（四）智能融合数据处理融合数据处理实现一种多数据处理引擎融合方案，一套架构应对大中小微不同数据负载需求的用户场景，是算力网络数据库“无需关注业务38、负载”理念的核心和基础。从集中式分布式融合、事务型分析型融合，以及AI 的能力融合，逐步打造超融合数据库形态，并通过统一的接口实现数据的整合、查询、分析和优化。集中式与分布式融合，兼顾了高性能和高可用性、可扩展性能更好地适应不同工作负载场景的需求。采用 shared-storage/shared-everything 架构与 shared-nothing 相结合，支持跨分区的数据分片的分布式处理能力，引入弹性并行计算技术，满足复杂查询的线性扩展性要求，实现资源的最优利用和系统的稳定运行，提升整体能效。事务处理和计算分析融合，一套引擎同时支持 OLTP 和 OLAP 负载，省去离线数仓从业务系统39、采集数据的时间，实现近 T+0 的数据分析能力，无需单独建设实时数仓，降低系统复杂性和维护成本。T+0 的分布式 HTAP 技术提供一站式事务处理和数据分析能力，进一步实现用户层面实现统一入口，HTAP 数据库融合。随着近年 AI 技术迅猛发展，对数据库架构的灵活性和可操作性能提出了更高的要求。一方面需要支持数据来源多样、数据量大、格式不一的结构化、非结构化及半结构化数据的多模态数据。另一方面，不同业务需求催生不同的数据模型数据库。存储引擎需要支持关系、键值、文档、向量、时序、图模型等统一存储，仅存一份数据，结合不同索引类型实现不同模型数据混合存储的目标，有效避免存储冗余、兼容性、数据一致性、40、数据同步延迟问题等，同时降低用户的学习、23开发、移植、运维成本。计算引擎中采用混合查询优化技术，在单一命令访问多模数据库，生成最优执行计划，提高访问性能；采用多级自适应并行计算技术，充分利用系统资源提升性能，避免单一复杂任务占据全部资源影响其他任务的执行；采用多级数据缓存技术，降低数据库服务器负载，提升业务综合性能。针对计算密集型业务，可采用 GPU 融合计算技术，提升包括图计算、向量计算和分析型业务的性能。基于分布式原生多模存储-计算引擎的算力网络数据库为包括 AI应用在内的各种主流业务系统提供多引擎融合数据处理。（五）（五）数据库和数据库和 AIAI 双向赋能双向赋能数据库和 AI 双向41、赋能包括 AI for DB 和 DB for AI 两大方向。1.AI for DB：算力网络数据库需具备 AI-Native 能力，一是智能运维和自治方向，主要包括可观测体系、协同诊断优化、智能负载预测和资源调度等；二是自然语言交互方向，如 Text2SQL 技术路线。（1）智能运维和自治数据库的整体运维架构一般分为四层：数据采集层：是运维架构的底座，主要负责在数据库运行节点上部署采集节点，采集数据库和 OS 指标，同时还负责执行运维管理命令。数据计算层：数据库外的节点可以在备机部署 AI 服务节点，同时有一些存储的引擎，来实现数据计算存储。自治服务层：提供相关数据库自治服务，包括 SQL42、 诊断调优（如慢 SQL 诊断、发现以及索引优化等）、异常行为检测和敏感数据24发现、参数调优和系统分析诊断等。监控层：通过端到端的监控诊断、运维还有优化，实现了从问题发现、问题诊断到问题优化的全流程管控，对用户来说是无感知的。自治运维系统的应用主要聚焦于三个方面：索引推荐能力、慢 SQL诊断和建议、多指标关联分析。索引推荐能力是指在数据库内核中内置单条索引的推荐能力，来实现单条索引推荐，从而让用户很容易对一条语句实现索引加速。由于单条索引很难对整个系统有效，通过额外增加对整个系统负载的索引推荐，通过对批量 workload 的采集、处理、压缩后再进行单条索引推荐，从而降低索引推荐比例、提升整43、体效率。慢 SQL 诊断和建议会识别哪些语句是慢 SQL，然后采集慢 SQL 和它的相关指标特征，同时结合当前系统的运行状况，比如 CPU 使用率和IO 使用率等指标，把这些信息作为统一的集合进行训练。训练后形成的特征库，可用于与之后遇到的慢 SQL 语句境进行智能匹配，最后把根因结果在界面上展示，同时给出优化建议。多指标关联分析可以帮助我们快速发现问题。由于采集的指标是多种多样的，一个指标的变动可能联动其他指标也发生变化。通过多种异常检测算法，例如持续增长、毛刺、周期性等，基于这些检测算法观察环境指标，可以发现指标间的关联关系，从而确定影响关键指标的变化因素有哪些。（2）自然语言交互25Te44、xt2SQL（文本到 SQL）是一种自然语言处理技术，旨在将人类语言的自然表达转化为结构化查询语言（SQL），以便与数据库进行交互和查询。Text2SQL 方法利用 LLM 模型进行端到端的训练和推理。这些模型通过将自然语言查询和对应的 SQL 查询作为输入和输出对进行训练，从而学习语言和数据库之间的映射关系。LLM 模型的表征能力和上下文理解能力使得 Text2SQL 的性能得到了显著提升，可以处理更复杂的查询，并在多个基准数据集上取得了优秀的效果。Text2SQL 实现算网数据库使用和管理新形式，仅通过输入自然语言便可产生 SQL 或者返回执行结果，可以很有效的提高 SQL 编码质量，提高45、相关使用人员的使用效率。通过自然语言提问或描述、语音视频输入即可生成和执行 SQL 的能力，实现基于数据库数据集作为输入，并通过定制的Prompt 进行模型代入，定期更新数据库专业领域知识库内容、多轮对话演进、评价反思反馈、RAG 增强，同时使用 Transformers 技术进行大型语言模型(LLM)微调和模型推理的指导，生成定制领域模型的能力，针对不同领域或行业的上层应用提供更加智能化的服务能力。2.DB for AI：算力网络数据库是 AI 应用的基础设施，一方面在数据库内部原生或集成机器学习算法，简化整体架构，提升性能和效率；二是构建结构化和非结构化数据融合存储，提供向量等数据模型的管46、理和查询，结合知识图谱和多模数据处理，便捷搭建大模型。实现算力网络数据库的内置算法和大模型能力。大型语言模型(LLM)是一类基础模型，经过大量数据训练，使其能够理解和生成自然语言和其他类型的内容，提供推动多个用例和应用程序以及解决大26量任务所需的基础功能，以执行各种任务。算力网络数据库提供一整套基于 SQL 的机器学习、数据挖掘以及统计学的算法，用户可以直接使用 SQL 调用数据库引擎工作，同时在库中进行数据的调用、流转和分析处理，避免多个数据源介质的数据流动，从而在 DB 内进行机器学习工作。同时，基于算网一体化，调用整体的资源和大量的数据资源，加上大模型的上下文语境分析和学习能力，产生定47、制大模型，使得不管是在基础查询、计算的能力上，还是在辅助上层应用的训练上，都能够提供更好的数据库使用体验。向量化支持方面，区别于通用关系型数据库并不擅长的文件存储，通过智能化的索引和数据分片，算网数据库先把长文件进行拆分，各个片段进行向量化，作为储备知识存储在具有支持向量的算力网络数据库中，当用户发生查询请求，请求内容又会二次向量化，在数据库中进行相似性检索和计算，找到答案后，再输出文本数据。支持向量化这为人脸识别、图像搜索、推荐系统等应用提供了快速且准确的相似性匹配能力，推动了这些领域的发展。此外，向量化的支持能够高效地存储、检索和处理海量的向量数据，促进了 AI 技术在大规模数据集上的应用48、和研究。算网一体数据库支持内积、欧氏距离、余弦等基础相似距离，以及相应的查询检索语句，支持 TopK 查询，同时支持引的构建与删除，标量索引如布尔、字符、数字标量索引，向量索引如 HNSW、IVF、LSH 等。27（六）全域数据流通（六）全域数据流通全域数据流通的关键技术可以分解为如下方向：无感数据集成与复制、数据质量保障、实时数据处理、数据共享和协同、数据安全和隐私保护。1.无感的数据集成与复制：指通过新技术，从数据库、文件、消息队列等数据存储系统中，以近乎实时的速度进行数据的访问、采集和集成。数据复制及同步技术中，最典型的技术为：Log-basedchange data capture(C49、DC)。对于数据复制及同步技术，最核心能力在于数据实时采集技术，以及数据复制的延迟。基于数据复制及同步技术，一般可用于满足：数据库迁移、数据容灾、数据多活、数据仓库实时集成等业务场景。2.数据质量保障：数据流通的基础要求之一。数据集成过程中，通常会对数据进行清洗和转换，去除重复、错误和不完整的数据，提升数据质量。高质量的数据是准确分析和决策的基础，确保计算结果的可信度和有效性。3.实时数据处理：数据集成还涉及实时数据的收集和处理，这对需要即时反应的应用场景非常重要。例如，智能交通系统需要实时收集和处理交通流量数据，以优化交通信号和减少拥堵。通过实时数据集成，可以确保计算系统获取最新的数据，做出50、快速响应。4.数据共享和协同：数据集成促进了跨部门和跨组织的数据共享和协同工作，是提升数据价值的有效手段。通过集成不同部门的数据，可以打破信息壁垒，促进协作，提高整体效率。例如，城市管理中的各个部门可以通过数据集成实现信息共享，共同提升城市的运行28效率和服务水平。5.数据安全和隐私保护：在数据集成过程中，实现对数据的统一管理和保护，确保数据在传输和存储中的安全性，符合相关的法律法规和隐私保护条款，是一项基础且重要的要求。全域数据流通技术是实现算力与数据紧密结合的关键环节，它不仅提升了数据的质量和一致性，还支持复杂的分析和决策、实时数据处理和跨部门协同工作，最终促进了各行业的创新和效率提升。在51、未来的信息架构中，数据集成将继续发挥重要作用，为社会带来更大的价值。（七）（七）数据库任务式服务数据库任务式服务在无服务器架构（Serverless）中通过采用任务即服务实现数据库的高效数据处理任务执行。首先是以融合数据处理能力为基础，算力网络数据库对用户提交的数据任务开展智能分析，并自动构建满足任务需求的数据库引擎。其次通过精准捕捉每个计算节点的算力状态、资源使用情况、地域分布需求以及独特的性能特征，确保资源分配的极致优化。同时随着任务负载的波动，算力网络数据库能够无缝地进行资源的动态调整，包括跨域、多云等场景。事务触发机制是确保数据库任务式服务的一致性和完整性的关键机制，它通过任务的 AC52、ID 属性、隔离性等关键特性，以保证数据库任务式服务的准确性和系统的稳定性。数据库任务式服务具备以下几个关键特性：实时感知和监控：系统能够持续监控各个计算节点的状态，包29括 CPU、内存、存储使用情况，网络带宽以及地理位置等。这种监控数据可以通过事件触发机制及时更新。负载动态调整：基于实时感知的数据，系统可以动态调整资源分配。这包括根据当前任务的负载情况自动增减计算节点的资源，确保资源的最优利用率。弹性伸缩：系统具备弹性伸缩能力，可以根据任务的需求自动增加或减少计算资源，以适应任务负载的波动。这种特性通常用于应对高峰期的流量或突然增加的计算需求。事件驱动：系统能够通过预设的事件触发机制，自动53、响应不同的任务需求或突发事件。这样，系统可以更高效地分配资源，并确保任务的高效执行。五、产业发展倡议（一）（一）问题和挑战问题和挑战实现算力网络数据库的愿景，仍面临三方面的挑战。1.技术挑战算力网络数据库涉及算力网络和数据库技术的交叉融合，而算力网络又涉及算力和网络两大基础学科，其技术体系、发展路径不同。在算网一体方面，中国移动推动形成一体化架构、一体化协议、一体化编排、一体化服务四大技术体系，但整体仍处在早期阶段。在数算融合方面，其架构和技术标准等还不完备，需要突破数据库与算网大脑的融合，数据库多引擎融合，全域数据流通等技术方向。这些交叉领域的研究和技术攻关是原创技术引领和突破的一次机遇和挑54、战。302.产业挑战当前产业界对算力网络的概念和演进还存在不同理解，对于算力网络数据库更是处于“空白”状态。算力网络数据库是算力网络时代下的新型数据基础设施，是对传统数据库产业的一次全方位“技术改造”，面临着软硬件产业链和 DICT 跨界融通的挑战。算力网络数据库的推进需要融入算力网络大势中，以开放的心态凝聚产学研力量，加速达成算力网络数据库的共识，促进产业成熟。3.生态挑战算力网络数据库对数据库现有的服务和商业模式是一个全新挑战，对行业价值链是一次重构升级。当前数据库的云原生已逐步进入规模推广阶段，但对数据库的算网化、任务式服务需求尚未被挖掘，新的服务业态创新还需要创新应用的激发。算力网络数55、据库生态需要进一步激发产业生态上下游活力，加快应用规模落地。（二）发展倡议（二）发展倡议面对上述挑战，中国移动希望与合作伙伴通力合作，围绕技术、产业、生态三方面开展工作，共同推动算力网络数据库技术发展、产业成熟和生态繁荣。1.共建技术体系构建算力网络数据库技术联合创新体，强化顶层设计，集合多方力量，共同攻关统一编排调度、融合数据处理、智能化、全域流通等31领域的关键技术，完善技术体系，实现统一技术路线、统一目标架构、统一标准体系，打造新型数据基础设施，助力数字中国发展战略落地。2.加快产业成熟协同攻关算力网络数据库产业链共性问题，推动产业链上下游、产供销有效衔接，提升产业链韧性，加强新技术对产56、业的渗透的深度和广度，探索跨行业、跨产业算力网络数据库联合试验示范，协同加强产业链的融合创新，共促算力网络数据库安全、健康发展。3.推动生态繁荣推动实现算力网络数据库的任务式服务和全域编排调度，优化全产业的数算融合的供给能力。推动算力网络数据库面向国家治理、社会民生、传统产业等多领域的升级改造，带动行业进入良性互促的产业生态，提升算力网络数据库带来的产业和社会价值。32白皮书参编单位和人员：中移（苏州）软件技术有限公司：王宝晗、胡建华、罗成对、汤溢、李斌、陶捷、张刚、陈学平、丁顺、王松磊、何韬、陈敬、朱晓亮、章左中大数据技术标准推进委员会：姜春宇、马鹏玮、刘思源、齐丹阳、刘蔚中移动信息技术有限公司：白国涛、赵淳、崔凯峰、李龙飞、王晓非金篆信科有限责任公司：秦延涛、张校逸、卢勤元、朱海涛、徐光星武汉达梦数据库股份有限公司：胡书能、柏冰、季武雄、朱红超玖章算术（浙江）科技有限公司：叶正盛、周振兴杭州云猿生数据有限公司：曹伟、蔡松露、应珊珊中国移动通信集团江苏有限公司：金毅然、张峰铭、卢玥