民生银行分布式NewSQL数据库实践

作者引见：周鹏，现就职于中国民生银行消息科技部，担任全行数据库维护及分布式数据库平台扶植等工作，具有多年的数据类系统架构设想及调优经验。对于新型分布式数据库、大数据生态系统研究具有稠密乐趣。

此前，金融消息化扶植次要依托原有集中型 IT 架构进行维护扩展，系统规模及复杂程度呈指数级增加，各类瓶颈逐步表露，日益增加的数字金融需求同旧式的系统架构缺陷之间的矛盾愈加凸显。中国人民银行中国银行安全监视办理委员会等金融监管部分逐步推出分布式转型政策要求，金融企业起头兴起分布式转型海潮。

民生银行作为中国第一家非国有企业所有的银行以及中国领先的零售银行，办理的总资产为 3。2 万亿人民币，运营 33 家分支和跨越 700 家银行网点。在营业立异和手艺立异上，民生银行不断走在业界的前列，特别在人工智能、大数据范畴，sql数据库民生银行做出了良多积极的测验考试，取得了不错的成效。

使用和营业层的压力，给贸易银行IT和数据架构带来了新需乞降挑战，分布式手艺架构转型的需求也就应运而生。贸易银行亟需分布式架构转型，次要体此刻如下几个方面：

· 提拔海量数据系统办理弹性。当贸易银行系统内数据量急剧增大时，系统需要弹性地扩容以应对PB级别以上的数据办理，这种弹性容量调整能够实现让所无数据连结在线。

· 提拔数据系统办理机能。针对客户的及时需求，贸易银行数据系统需要满足高并发营业操作需求，实现海量数据超高机能读写以及及时拜候查询。

· 升级数据平安保障。数据平安不只仅是简单的备份，除了实现数据的持续高可用外，还应支撑异地容灾以至数据核心“双活”，进而保障数据平安。

· 满足多类型数据处置需求，提拔系统效率。在跨营业的融合中，亟需实现对多模数据的同一办理，从布局化数据到半布局化数据再到非布局化数据，进而实现分歧类型的数据同一融合办理，从而大大提拔系统效率。

· 简化开辟运维节约成本。跟着使用的增加，更需要分布式架构支撑，进行数据分区办理，实现营业无效隔离。同时，连结系统的弹性、兼容性，大大简化运维开辟。

· 有能力支持焦点营业系统的国产产物。除了数据平安的要乞降“手艺先辈”，对于焦点营业，更主要的是对产物代码级具有节制力，如许能够包管产物针对用户共性需求不竭进行迭代更新，也带来产物不变性以及高效强力的手艺支撑。

针对数据弹性扩容和机能、高可用等要求，我们也针对数据库进行了分库分表革新。目前曾经实现OracleIBMDB2以及MySQL数据库的分库分表革新，总分库数跨越15，分表数跨越500张。

我们针对IBM DB2等保守关系型数据库产物进行了跨核心分布和双活的革新。提拔总体平安性，提拔RTO，RPO，实现“5个9” ，降低风险提高效率，操作过程更简单通明，同时大大提高软硬件资本操纵率，节约了扶植成本。

除了保守数据库的分布式革新，民生银行也积极测验考试新型分布式数据库产物。如国内的分布式数据库SequoiaDB，目前曾经在海量数据查询、分布式影像平台和归档数据办理等在线营业系统中规模摆设利用。

当前分布式架构转型的革新曾经取得相当成效，但跟着我行各类营业负载的不竭增大，以及直销银行、互联网金融和人工智能等立异营业的拓展，同时分布式数据库使用也需要向更焦点的营业系统推进。当前方案面对新的挑战：

· 开辟运维成本： 分库分表方案，在扩展性和机能、并发上仍有瓶颈，且开辟投入的各项成本高。分库分表的方案需要事后按照营业对数据库进行切分，如许的方案丧失了较多的弹性，同时在运维层面，也需要投入不小的人力。

· 降低利用和运维成本： MySQL兼容性。开源数据库MySQL目前在互联网行业使用较广，很多使用也基于MySQL开辟，可是目前的分布式数据库良多没有实现完全的MySQL兼容，因而在现实投产后，现实的利用和运维成本更高了。

· 进入焦点营业场景： 利用开源数据库、两头件方案，因为没有贸易化厂商的支撑和行业堆集，不变性没有包管，再进入焦点营业系统时具有必然风险。

· 国产化要求：在分布式数据库范畴，不克不及过度依赖海外开源产物，需要着重调查国内自主可控的分布式数据库产物。

针对上述需求，我们在分布式NewSQL的立异实践中，颠末测试和对比，我们最终选择巨杉的SequoiaDB。SequoiaDB 3。0 版本，目前曾经实现完整和谈级别MySQL兼容，能够在数据库层面做到分布式而且对已有营业全兼容。同时，巨杉在金融行业曾经有过大规模利用考验，在产物成熟度上更靠得住。

分布式NewSQL数据库平台，在利用SequoiaDB 3。0 后，表现了几大营业劣势：

· 分布式可扩展性：存储层的分布式数据引擎，能够实现数据量的弹性扩容，矫捷应对营业需求的调整。

· 微办事架构：整个平台参考了微办事架构，接入层的SQL实例和存储层的存储节点都能够进行自在的设置装备摆设，使用能够按需选择SQL实例和存储节点。

· MySQL完全兼容：接入层实现了完全和谈级兼容MySQL，使用无缝对接，大大降低利用和运维成本。

为了表现NewSQL平台的劣势，我们拔取了SequoiaDB在几个次要营业场景下的一些测试数据进行申明，这些营业场景能够代表我行的很多主要买卖场景：

此场景以查询为主，查询语句较复杂，涉及4张表的联系关系，此中包罗2张大的流水表的联系关系操作，每张表记实数达到数亿条，最终婚配成果达到数百笔记录。

在现实测试中系统的营业处置能力仍然可达到平均每分钟3，916。45笔，而且运转过程系统的吞吐量表示很是平稳。

此场景以高频查询为主，次要针对近期的流水记实，查询频次较高。共涉及3张表，此中小流水表和材料表记实条数别离为3000万条，大流水表为3亿条。

通过测试，在该场景下，每分钟的营业处置能力可达到1，886，184。03笔，如斯高的吞吐量仍然可以或许在整个过程中持续连结平稳。

此营业以查询和更新为主，施行频次高，对响应时间要求高。此中查询营业涉及3张表，此中两张材料表为1000万，sql数据库3000万条数据，维度表数据为1万条；更新操作则涉及材料表1000万笔记录和维度表1万笔记录。

夹杂查询和更新，在施行过程中可能呈现分歧事务对统一笔记录的读写冲突，因而吞吐量表示呈现一些小幅度波动，但总体平均每分钟的营业处置仍然可达到51，090。03笔。

此营业场景以插入、更新和查询为主，施行频次高，对响应时间要求高。此中查询涉及两张材料表和两张维度表，材料表记实数别离为1000万与3000万；插入操作涉及两张流水表，记实数别离为3000万与900万；更新则涉及一张维度表与一张流水表，记实数约为1万与1亿。

营业场景较为复杂，每笔营业至多包含50余个数据库操作，夹杂着插入、更新以及查询等多种操作，平均每分钟的营业处置仍然可达到9，861。57笔。，相对波动也比力小。

SequoiaDB 3。0 的MySQL兼容性较为优良，扩展能力较好，总体机能满足主要买卖系统的要求。后续，我们将会把更多现有分库分表方案难以处置的营业向NewSQL平台迁徙。

我们也会持续评估将来大规模利用分布式数据库的可能性，充实阐扬NewSQL数据库的劣势，协助我们的营业、手艺立异，同时也但愿我行在分布式数据库扶植过程中的能够分享更多成功经验。

比特软件消息化周刊供给以数据库、操作系统和办理软件为重点的全面软件消息化财产热点、使用方案保举、适用技巧分享等。以最新的软件资讯，最新的软件技巧，最新的软件与办事业内动态来为IT用户找到软捷径。

比特商务周刊是一个及行业资讯、深度阐发、企业导购等为一体的分析性周刊。此中，与中国计量科学研究院合力制造的比特尝试室可认为贸易用户供给最权势巨子的采购指南。是企业用户不成贫乏的智选周刊！

比特收集周刊向企业网管员以及收集手艺和产物利用者供给关于收集财产动态、手艺热点、组网、建网、收集办理、收集运维等最新手艺和适用技巧，协助网管答疑解惑，成为网管好辅佐。

比特办事器周刊作为比特网的重点频道之一，次要关心x86办事器，RISC架构办事器以及高机能计较机行业的产物及成长动态。通过最独到的编纂概念和业界动态阐发，让您第一时间领会办事器行业的趋向。

比特存储周刊持久以来，为读者供给企业存储范畴高质量的原创内容，及时、全面的资讯、手艺、方案以及案例文章，力图成为业界领先的存储媒体。比特存储周刊一直努力于用户的企业消息化扶植、存储营业、数据庇护与容灾建立以及数据办理摆设等方面办事。

比特平安周刊通过专业的消息平安内容扶植，为企业级用户制造最具贸易价值的消息沟通平台，并为平安厂商供给多层面、多维度的媒体宣传手段。与其他同类网站消息平安内容比拟，比特平安周刊运作模式愈加独立，对消息平安界的动态旧事更新更快。

旧事核心以奇特视角精选一周内最具影响力的行业严重事务或圈内出色故事，为企业级用户制造重点凸起，可读性强，贸易价值高的消息共享平台；同时为互联网、IT业界及通信厂商供给一条精准快速，渗入力强，笼盖面广的媒体传布路子。

比特云计较周刊关心云计较财产热点手艺使用与趋向成长，全方位报道云计较范畴最新动态。为用户与企业架设起沟通交换平台。包罗IaaS、PaaS、SaaS各类分歧的办事类型以及相关的平安与办理内容引见。

比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深切采访为依托，汇聚中国500强CIO的集体聪慧。旨为中国精采的CIO供给一个优良的互融互通 、推进交换的平台，并持续供给丰硕的资讯和办事，切磋消息化扶植，鞭策中国消息化成长引领CIO将来职业成长。

IT专家旧事邮件持久以来，以定向、分众、整合的贸易模式，为企业IT专业人士以及IT系统采购决策者供给高质量的原创内容，包罗IT旧事、sql数据库评论、专家答疑、技巧和白皮书。此外，IT专家网还为读者供给包罗征询、社区、论坛、线下会议、读者沙龙等多种办事。

X周刊是一份IT人的手艺文娱周刊，给用户及时传送I最新T资讯、IT段子、手艺技巧、畅销册本，同时用户还能参与我们保举的互动游戏，给泛博的IT手艺人士忙碌工作之余带来轻松休闲一刻。