当前位置:首页 > 资讯中心 > 行业资讯 > 浪擎科技构建监狱数据共享交换平台,为监狱大数据保驾护航!


浪擎科技构建监狱数据共享交换平台,为监狱大数据保驾护航!

导读 :随着互联网技术的发展,信息化建设应用在各行各业中,在监狱信息化建设中,其业务平台往往存在多系统多平台多业务的现象。如果不设计容灾备份系统,一旦出现灾难事故时(主机系统故障、病毒攻击、区域性的灾难等),对监狱一整套业务系统必将是沉重的打击。浪......      
2017-12-19

随着互联网技术的发展,信息化建设应用在各行各业中,在监狱信息化建设中,其业务平台往往存在多系统多平台多业务的现象。如果不设计容灾备份系统,一旦出现灾难事故时(主机系统故障、病毒攻击、区域性的灾难等),对监狱一整套业务系统必将是沉重的打击。浪擎科技针对监狱业务系统实现应用级容灾,使得网络中心和灾备中心,具有完整数据复制、系统灾难切换和网络可访问能力,确定数据不丢失和业务不间断。


浪擎科技为吉林省监狱系统搭建全国第一个省级监狱系统大数据共享交换平台浪擎数据共享交换平台是集基础信息采集、信息共享交换、信息数据整合、信息应用、数据灾备等多种功能于一体的数据库系统。


浪擎数据共享交换平台采用了实时无感知的数据汇聚技术将位于不同物理位置的业务系统数据集中汇聚到统一的数据库中,并在汇聚完成之后对数据进行标准化数据整合,对数据进行清洗、转换、装载,从而为下一步的大数据分析做铺垫。除此以外,该数据共享交换平台还拥有灾备的功能,如果各地市级监狱管理局的数据库发生了故障,还能够利用数据交换平台中的数据进行数据恢复,保证了各地市级监狱管理局的数据安全。


1
项目背景


吉林省监狱管理局大数据整合平台是全国第一个省级监狱系统大数据项目,旨在从信息化系统建设的整体视角出发,对现有各类数据源进行科学规划,实现对数据的集中管理和深入挖掘,建设统一的信息资源汇总、分析系统已迫在眉睫。


1.jpg


监狱作为国家的刑罚执行机关,它承担着惩罚和改造罪犯,预防和减少犯罪的神圣职责,对巩固国家政权,维护社会稳定,保障改革开放和社会主义现代化建设的顺利进行发挥着重要作用。


伴随着信息化建设的不断完善,吉林省监狱管理局在全省各级监狱管理中不断增加各种信息化应用,实现了统一管理、简化工作流程的目的。日积月累,在各应用系统中不断产生大量的业务数据。吉林省监狱管理局下辖19个地市监狱局,各个地市级监狱局系统数据分散,当领导需要时,工作人员需要分别登录各种系统取得数据,或者利用历史报告编制大量分析材料提交给领导进行辅助决策,大大降低了信息资源的利用效率。


整个吉林省监狱管理局大数据整合平台项目包含两个平台的搭建:数据共享交换平台和数据分析平台,其中浪擎科技在本次项目中负责数据共享交换平台的搭建


数据共享交换平台注重基础信息采集、信息共享交换、信息数据整合、信息应用等多种功能为一体的数据库系统。真实反映监狱局的重要信息,为社会管理和公共事务提供基础信息,为领导进行科学决策和公共行政管理提供重要依据。


2
建设思路


2.1设计原则

①统筹规划,分步实施。对政务信息资源体系、目录与交换体系、存储体系等进行总体设计和规划;结合现有基础和实际业务需要,突出重点,分步进行建设。


②整合资源,优化配置。集成和整合现有的、分散的信息资源、应用系统及软硬资源,形成新的共享应用体系,实现对各类资源的有效管理和优化配置。


③需求主导,安全可靠。以需求为导向、以应用促发展,选择需求迫切、效益明显、特色突出、易于突破的跨部门应用,与平台建设同步进行;从系统设计、软硬件选型、安全机制等多个方面进行安全防范,保证系统高效、稳定、不间断运行。


④实用灵活,标准规范。在保证技术先进性的同时,在技术上采用国际标准,遵循国际规范和组织系统的行业规范,并建立信息资源集成管理系统标准规范体系。


2.2技术路线

①面向服务的体系结构(SOA)

面向服务的体系结构(service-oriented architecture,SOA)是一个组件模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。


SOA本身就是一种面向企业级服务的系统架构,简单来说,SOA就是一种进行系统开发的新的体系架构,在基于SOA架构的系统中,具体应用程序的功能是由一些松耦合并且具有统一接口定义方式的组件组合构建起来的。因此,基于SOA的架构也一定是从企业的具体需求开始构建的。但是,SOA和其它企业架构的不同之处就在于SOA提供的业务灵活性。业务灵活性是指企业能对业务变更快速和有效地进行响应、并且利用业务变更来得到竞争优势的能力。对企业级架构设计师来说,创建一个业务灵活的架构意味着创建一个可以满足当前还未知的业务需求的IT架构。


②无感知数据汇聚

实时数据转换和加载通常要求几分钟内完成一次ETL任务,在进行ETL任务时需要占用大量的CPU、内存、磁盘IO资源。在生产系统业务比较繁忙的时候,如果在生产业务系统中进行ETL实时任务势必会占用生产系统资源,影响生产业务的正常运营。因此,需要寻找一种在生产系统无感知的情况下对实时产生的业务数据进行抽取的解决方案。


数据库双活产品基于事务复制的方式实现数据库的镜像,能够实现生产端和镜像端的数据库的实时同步,镜像端数据库处于可读状态,能够实时校验;在实时同步的同时,通过数据库汇聚技术实现生产端同种数据库汇聚到镜像端的一个数据库,为后期数据ETL提供基础;所有的ETL任务均是在镜像端完成,不占用主机端的业务资源,实现业务系统无感知情况下的数据清洗、抽取、集成。


③ETL技术

ETL作为BI/DW的核心和灵魂,按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图,数据是砖瓦的话,那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计,而ETL规则设计和实施则是工作量最大的,其工作量要占整个项目的60%-80%,这是国内外从众多实践中得到的普遍共识。


整个智能/数据仓库系统由三大部分组成:数据集成、数据仓库和数据集市、多维数据分析。


通常,商务智能运作所依靠的信息系统是一个由传统系统、不兼容数据源、数据库与应用所共同构成的复杂数据集合,各个部分之间不能彼此交流。从这个层面看:目前运行的应用系统是您花费了很大精力和财力构建的、不可替代的系统,特别是系统的数据。而新建的商务智能系统目的就是要通过数据分析来辅助自己决策,恰恰这些数据的来源、格式不一样,导致了系统实施、数据整合的难度。此时,非常希望有一个全面的解决方案来解决自己的困境,解决自己企业的数据一致性与集成化问题,使您能够从您所有传统环境与平台中采集数据,并利用一个单一解决方案对其进行高效的转换。


3
实施方案


下图为吉林省监狱管理局大数据整合平台整体架构图。

2.jpg


19个地市级监狱管理系统的数据分布在不同的物理位置上,不同的业务系统利用不同的数据库,其中有Oracle、MySQL、Gbase。为了完成数据共享交换平台的搭建,主要需要完成两个方面的工作:各地市数据库分别汇聚到总局Oracle、MySQL、GBase数据库中,而后将上述数据库中的数据通过ETL工具抽取到数据仓库中,为大数据的分析做最终的准备。


各监狱到监狱管理局均为100M专线,直接从监狱各系统复制数据到监狱管理局容灾中心。各业务系统同类型数据库均复制到容灾中心一个库中。ETL设计,抽取容灾中心中的各种不同类型数据库(Oracle、MySQL、GBase)中的数据,通过转换加载到一个数据库中,以用作为后续数据共享及分析所使用。


平台整合监狱管理局的狱政数据、生活卫生数据、减刑假释数据和劳动改造数据等,并根据业务需求也采集公安系统中其他支队数据、法院等外部门的数据。


信息加工整合处理功能提供了标准的ETL模式,实现了对资源的筛选、清洗、过滤、编目等数据加工功能,并最终将经过标准化的数据录入到犯罪信息库、警察信息库、监狱管理信息库中;对于智能分析的需要,可对项目需要的数据进行加工处理,达到项目对数据的要求,为监狱管理工作提供数据支持;对于各业务系统对数据的需求,可根据各应用系统的数据质量对其进行整理,为分析提供数据服务支持;对于领导关注的主题,可根据已整合的数据对其进行二次加工整理,并存入决策库中,为领导提供决策支持服务。


犯罪、警察、管理信息等基础数据库按照关系数据结构建立并满足国家标准要求,按照犯罪、警察、管理信息等基础数据各属性信息以及各部门业务涉及领域进行划分,建立满足省监狱管理局及各部门全业务的基础数据;元数据信息库按照“资源目录体系”对资源进行分类、划分,建立符合国家标准的资源目录存储数据库;


基础数据库存储了经过主题加工、汇总的统计分析数据,这种数据结构极大的满足了后续扩展性的需求,并可结合基础业务数据库对领导关注的问题进行深入钻取、挖掘。


实时无感知数据融合

3.jpg


19个地市级监狱局的信息系统位于不同的物理位置,首先需要完成不同地理位置数据的汇聚。为了避免对生产系统的业务带来负面影响,我方提出了间接提取的实时无感知数据融合方案。实时无感知数据融合方案是在每个需要做数据提取的生产端安装浪擎资助研发的数据库双活软件AppMirror,AppMirror安装过程中不需要停顿生产系统,能够实时捕获数据库事务日志,并在备端实时加载,保证生产端数据库的数据同步到位于省级监狱管理局的数据库中。AppMirror对生产端的资源占用很少,基本不会影响生产系统。


利用AppMirror完成19个地市级监狱局的数据汇聚之后,再采用ETL工具将各Oracle、MySQL、GBase数据库中的数据经过抽取、清洗、转换装载到大数据仓库中。可以发现采用一种间接抽取的方式完成了数据汇聚,因为如果从生产端进行ETL数据抽取势必会占用生产端计算资源,实时数据转换和加载通常要求几分钟内完成一次ETL任务,在进行ETL任务时需要占用大量的CPU、内存、磁盘IO资源。在生产系统业务比较繁忙的时候,如果在生产业务系统中进行ETL实时任务势必会占用生产系统资源,影响生产业务的正常运营。


标准化数据整合

浪擎数据整合软件 waveinfo, 集数据抽取、清洗、转换及装载于一体,通过标准化企业各个业务系统产生的数据,向数据仓库提供高质量的数据,从而为企业高层基于数据仓库的正确决策分析提供了有力的保证。


waveinfo应用结构示意图如下所示:

4.jpg


Waveinfo 通过同步 ETL 任务与定时机制的结合实现数据同步功能,支持任意数据库(异构)任意表(非对称)之间的数据同步操作,软件提供灵活的定时机制(工作流内部定时或作业定时),时间粒度最小可以设为秒级,通过对同步 ETL 任务周期性的定时触发,达到对变化数据的实时同步。数据从抽取到装载采用原子事务操作,充分保证了数据的完整性。


此次搭建数据交换平台所利用的浪擎Waveinfo ETL工具兼容各类数据接口,彻底解决数据孤岛问题,拥有全面优化的 ETL 引擎,提供无可比拟的任务执行速度。能够提供简单直观的图形操作界面,拖拽鼠标即可轻松完成 ETL 规则定义。提供工作流调度策略,自由定义任务的触发条件及执行路径。集成脚本开发环境,充分满足用户二次开发需要。


ETL 及工作流模板视图与脚本视图的自由切换,用户不仅可以享用快速开发带来的便利,同时可以满足用户查看、调试 ETL 细节的需求。多级数据安全策略,充分保证了 ETL 环节的数据安全。


4
项目价值


①数据共享交换平台的搭建为数据分析平台提供基础

平台注重基础信息采集、信息共享交换、信息数据整合、信息应用等多种功能为一体的数据库系统。真实反映监狱局的重要信息,为社会管理和公共事务提供基础信息,为领导进行科学决策和公共行政管理提供重要依据。


②无感知实时数据汇聚

数据抽取处理可在不影响正常业务的情况下进行。通过这种独特的配置策略可以非常好地解决在线事务处理和查询统计处理之间的竞争问题,不管数据抽取系统会消耗多大的系统资源,生产系统的响应速度不会受到影响。


③数据实时复制与容灾

为各监狱关键业务系统构建容灾机制,实现异地业务级容灾。

无需主备服务器的硬件规格完全一致,在容灾中心虚拟化平台中构建容灾系统。备用数据库可见可查询,保证容灾效果实时可见;实施过程无需停止主服务器和数据库,保证主系统7X24小时不间断正常运行。


④管理及监控

容灾中心平台软件能够创建统一的监控、管理平台,增强用户对整个IT环境的管理能力。容灾平台将各业务系统按照自身需求接入相关服务,增强了关键数据库或关键业务系统的容灾管理能力,提高了其可持续服务能力。


5
浪擎总结

随着云计算、移动互联网和物联网等新一代信息技术的创新和应用普及,海量数据正在生成。在各个领域,掌握庞大的数据信息,并对这些含有意义的数据进行专业化处理,大数据就有了不同寻常的商业价值。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,就在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。当下,大数据已经成为企业的核心竞争力。


浪擎科技作为国内专业自主创新的容灾备份软件厂商和解决方案供应商,在大数据的浪潮中,除了思考公司产品在解决大型业务场景下的数据灾备和业务容灾,也在思考灾备的数据如何去发挥最大效能的价值。一般来讲,备份的数据通常情况下都是躺在机房里某个角落休眠,这部分数据除了灾备的功能之外,是否还有可以挖掘的其他价值?


数据不应当仅仅被保护,更应该加以分析为企事业单位决策。所有的灾备数据能够作为大数据应用原材料,浪擎基于这些备份的数据,通过大数据分析为企事业单位的决策来作出指引。因为如果对分散在各个业务系统的数据进行大数据分析肯定是相当有难度的,那么灾备是天然具有数据聚合的属性的,能够将这些不同系统的数据汇聚到灾备系统。灾备系统中的数据在持续保有数据保护的功能,还能发挥其大数据的潜在智能。这样企业在进行灾备系统的建设后,还能够发挥灾备系统大数据应用的潜在价值。


浪擎容灾备份

浪擎科技是国内专业可靠的备份容灾软件厂商,中高端行业灾备与非结构化存储领导者。


公司产品和解决方案分为D(数据级灾备)、A(应用级灾备)、Y(区域级云灾备平台)、S(备份存储柜)四大系列,涵盖了从桌面到服务器、从备份到容灾、从本地综合备份管理到异地数据中心建设等各个方面,构建完整的备份、容灾、存储解决方案。


浪擎科技已为超过5000家中高端用户建设了大型的灾备中心或灾备系统。客户遍及政府、金融、医疗、能源、电信、媒体、制造、教育等各行各业,承建了国内最大的上海市电子政务灾备中心。


上海浪擎信息科技有限公司
版权所有 © 上海浪擎信息科技有限公司 2003-2018 沪ICP备 11048359
首页
产品
方案
资讯