顾学明：基于云与大数据的智能GIS
时间：2013-05-20浏览： 次责任编辑：四川拓图测绘仪器
5月15日，北京国家会议中心，由3sNews主办的2013地理信息开发者大会(WGDC2013)在此隆重开幕。作为业界最具规模、最具实战性的顶级开发者盛会，本次大会吸引了行业内外的关注，大家齐聚一堂，共同探讨地理信息产业的跨界话题。
在5月16日的大会“云计算与智慧城市”分论坛上，Oracle空间领域专家和销售顾问顾学明发表了题为《基于云与大数据的智能GIS》的演讲。
Oracle空间领域专家和销售顾问顾学明
以下为演讲内容：
顾学明：我们为数字城市到智慧城市了规划了令人憧憬的路线，其中重要的一点是要提高数据收集，信息处理，决策指导的能力，提高城市运营的效率。要达到这个目标存在的问题，数据采集能力提高了，并不意味着就一定能获得其中的信息，这取决于数据处理能力，而获得这些信息并不一定能让这些信息用于决策，这取决于信息的发布个共享方式和渠道，所以我们要提云计算;GIS虽然不等于智慧城市，但智慧城市离不开GIS, 所以我要讲云中的GIS。
这里边我讲四个大标题，一个云计算中的GIS， GIS应用对IT基础设施的需求， Oracle云架构采用策略， 以及Oracle相关在云构架集成的一些实践。
云概念已经被广泛接受，我们意识到云对我们IT推动的作用，从云概念本身的来源来讲，云就是通过整合的方式，把硬件，软件，数据，处理能力各种资源进行整合，提高信息能力，IT运营效率，确保信息的共享和价值发挥。
云从可以两个方面来看，一个从整合的层面来讲，公认IAAS、PAAS、SAAS三种整合层次，不同阶段，不同方面根据业务需求去确定你整合的层次。
另外从信息共享的和消费方式分为公有云和私有云，以及云爆发阶段出现混合云。
这些分类虽然代表云的不同发展阶段，但不意味着那个高级那个就不高级。取决于应用模式和成熟度，只要能达到的业务目的，都可灵活采用。不是说哪个东西比哪个东西高级。
原来是传统物理机孤岛，每个应用都要独立搭建自己的应用、平台、服务。为了这些系统采购了很多的硬件，硬件使用率很低管理起来很复杂。我们第一想到的就是我们对硬件进行虚拟化，这是我们现在非常流行的硬件虚拟化技术。也是通过整合你的硬件，然后提到硬件的使用效率以及维护成本。也提高应用的处理能力，所以就是虚拟这个层面上进行整合。当你发现你所有业务都需要共同的数据库平台，每个应用都单独管理同样的软件平台，你意识到硬件整合还是不够，为什么?虚拟机的泛滥。重复的软件部署到不同的虚拟机上，性能也遇到瓶颈。这是你需要对平台的需求进行合并。当你发现，所有业务需要同样的功能，你会发现你的服务是可以共享的，这时候需要在服务上进行合并。
当你在部门内部，搭建了私有云， 你会发现有的业务是和别的企业是有共同点的，你发现维护自己的私有服务成本非常高。通过云服务提供商可以得到更好的服务。从成本考虑会用一些公有云。这个是从私有云到公有云最后到混合云的过程。
云好像一个终极的目标，把云比着共产主义，是个逐步接近的过程。怎么接近，各有个的途径，欧洲高福利社会也认为自己也是在向共产主义发展，我们提出有中国特色的社会主义也是在向共产主义发展。
GIS的作为一个专门的应用，从云的角度出发他它就是一朵小云，智慧城市需要GIS，但不全是GIS,这个GIS云需要和别的云进行更整合，形成更大的云。
单从GIS云来看，也可以划分三个不同层面，基础设施云、平台云、以及服务云。
首先我们可以对机器进行虚拟化，存储进行虚拟化，这里面有自动存储管理，分布式文件系统，构建虚拟机，我们把所有的机器处理能力形成一个集群。你也可以选择把Oracle数据库看着一个整合的云，把大数据处理能里看着一个平台云。当然你需要Oracle的空间扩展，你需要空间数据处理，编辑和可视觉化能力。最后网络形式发布空间信息服务，所以本身GIS可以就是一朵云。
我们为什么要整合，因为我们遇到了实际问题，需要从云的角度考虑整个IT基础设施的重新部署和构架。
这个是我们常常见到的信息中心的遇到的问题，有过期的硬件，这些硬件越来越老没法使用，需要升级，用户体验性能非常差。而升级的时候，面临什么问题所有系统都在线上运行，升级需要花很长时间，又不能停掉原有的系统，系统缺乏灵活性。同时系统升级需要，很多专业技术人员去做，运营成本高。
这里面是什么样的需求会造成这种现状?
空间数据量和内容不断增加，空间数据采集能力增强了，但处理能力不行，数据量增加数据能力也要增加;数据一致性和质量要求也在要提高，你只有一致的数据才可以得到准确的信息，数据的更新频率也在提高，从批量更新到增量的更新，而且你的核心业务已经在在已经运行了。对高性能，可靠性，安全性，可扩容性都是非常大的挑战。不是说我们过去把数据铲掉重来一遍，所以对空间数据设施维护的要求越来越高。
对非结构化数据管理的要求。 结构化数据区别是什么? 结构化数据我采集到这个数据的时候，我有办法对它进行结构化。非结构化数据首先数据量大，另外没法对它进行结构化，知道是很有用的数据，但拿到这个数据的时候，并不知道以后怎么处理它，这是结构化数据和非结构化数据处理的区别。
结构化数据可以以表格的形式组织起来，当我知道以后怎么用的时候。我知道领导随时会问销售额多少，我会把每个单子的销售额量放在表里，任何时候要，一个SQL SUM就知道结果了。而拿到每年气温或气压的分布数据，我知道有用的，但我不知道以后别人会拿这个数据来做什么，只能在需要解决特定问题时，再确定分析方法，所以首先要存起来。再比如地质资料的档案，不能也不可能表的形式存储，唯一要做的是保证资料原始性，在有限期望的时间内，所需要的资料拿出来，这是大数据的另一个需求。
为了解决这些问题需要合适的IT构架和现有技术或系统的整合，整合目的第一个提高信息处理能力，降低硬件拥有和系统维护成本。
你可以从硬件层面整合，可以从平台层面整合，硬件层面整合你马上可以做这个事情，但是单纯硬件层面的整合一个问题是什么，它并不能减少增加你对平台管理的成本。比如说你有空间数据库，你把空间数据库部署在硬件上，所有你空间数据你的管理你整个的还是离不开，你该有两个空间数据库，还是有两个，因为只是把硬件虚拟化了。
平台上面整合和数据库层面整合，你可以获得更多的，你可以降低数据管理的成本，降低运维、数据更新、备份的成本等等。所以通过平台整合，可以加快新应用程序的部署速度。你不需要每个数据库都要重新部署。
整合的方法三个，第一你完全自己整合DIY。你也可以成功的配置，搭建自己的整合平台。为了降低整个风险，现在的趋势，厂家会给你提供完整从硬件到软件，从存储到计算机一直到软件这种成型的整合方案。
云计算如果是个终极的目标，好比是共产主义，实际上每个人都可以有起想法期待，但根据不同的发展阶段和达到的目标，都会按照不同的路线去接近。Oracle，从提供数据库产商，变成硬件到数据库，中间件，到应用完成解决方案的厂商，同时构建了自己的虚拟化云，平台云和服务云的整体方案，同时也云终端上也提供了Sun-Ray的方案。在云技术上的关键问题上如云安全：系统安全、数据安全，一直到你整个身份认证等提供了可以直接使用的产品。云还存在云的管理的问题，如云服务的租用计费和自助，这些Oracle产品都可以帮你实现。 Oracle还搭建了自己的共有云服务，比如说像(人力资源管理，支付系统等等公有云服务。
在GIS构架上来看， Oracle提供了一个ExaData一体化硬件产品，从存储，计算节点，网络，数据库软件一直到空间数据库扩展，提供完整的整合。大数据的方面，整合了Hadoop/HDFS/NoSQL等，以及R语言环境Big Data Appliance。Oracle Spatial在Web上提供了WFS，WMS等空间服务功能。
ExaData整合了什么呢，首先整合了存储，建立存储的集群，通过40G带宽网络连接，通过ASM管理，在上面搭建数据库实例。如果说我们自己搭建这么一个构架可不可以，完全可以，但ExaData远远不止这种简单的整合，并不是单纯把软件架在硬件IaaS上，而是在软件和硬件简ExaData做了很多优化。每一个存储节点都是智能的，它可对SQL语句进行处理，避免不必要的I/O,只读取和传输有用的数据，包括存储结点上的混合列压。这样大大提高了数据库的性能以及访问速度。
ExaData可以对数据库实例进行服务质量的控制。如果在云环境中你可以根据不同用户级别和要求控制每个实例的服务和质量。或者在你同一机构里，希望关键应用更快，更可靠。Oracle提供企业级的管理和监控软件，用来对整个ExaData硬件和软件进行一体化管理。
Oracle除了普通关系型数据管理外，还有提供了空间数据的管理扩展模块，包括Locator和Spatial两个不同级别的产品。它具有空间数据处理存储，处理和分析能力，是完整的空间数据库。除了空间数据管理外，Oracle Spatial还提供了空间分析能力，Route Engine、Geocoding等 ,Oracle可以发布OGC标准的空间服务。Mapviewer是Oracle Spatial提供的客户端数据管理和空间数据可视化应用程序，你可以通过Mapviewer配置地图，并把地图发布成服务。
大数据是IT的一个趋势，在GIS应用中也不例外。有些数据可以以表的形式放在库里，但有些数据不能进行结构化。所以存在一种对非结构花空间数据采集、组织、分析的需求。根据数据的特性，以及不同的处理阶段，需要用到不同的技术， Oracle根据这两个纬度对所有的技术整合，Big Data Appliance是整合了分布式文件系统，NoSQL需求，分布式数据处理 ，以及挖掘需求的专用设备。这些技术和和传统的结构化数据处理技术结合如OLTP,数据仓库，商务智能，全方位满足所有大数据存储，分析处理以及数据挖掘分析的需求。
北京阴霾比较厉害，要向公众解释这个阴霾正常不正常，原因是什么，有什么趋势，这时候我需要对历年的PM2.5做分析，而PM2.5数据是以大数据形式存储的。需要基于大量数据分析来支撑整个结论，需要系统有大数据存储管理和分析的能力。
数据量大是其中的一个特点，数据大只要解决采集、存储和访问就行了。大数据跟结构化数据更大的一个区别，它的分析过程不一样的。结构化数据先建模先结构化然后再分析，而且这个模型可以一直在使用，大数据的区别是收集到数据的时候根本不确定以后怎么处理，也就是说没有固定的处理的模型。只有提出特定问题以后，才知道怎么处理。一般先做一个猜想，然后建立证明这个猜想所需要的模型，最后运行模型，验证这个猜想。大数据分析得出的结果，很多时候是仁者见仁智者见智，有可能用人工的方式分析，也可能用机器训练分析，但结果的解释一般还是要人来完成。
Oracle产品和构架是完整系列，具有云所需要的所有特性：按需服务，多应用共享，服务质量控制，安全管理，计量收费。同时Oracle提供软硬件一体化的设备，不仅仅软硬件整合，而且在各个层间进行优化，形成一体化的具有云特性的云设备平台。
数据采集能力增强并不意味着你一定能从这些数据中获取有用的信息，所以信息处理能力很重要，而信息获得了并不定能马上用于城市的运营决策管理，所以信息共享和发布很重要。合适的云计算和构架的采用能帮助你更好地解决这些问题。一个满足业务需要的云的构架是动态的，整合和优化也是动态的。不是你今天建了云环境就一步到位了，需求在变化，业务模式在变化， IT技术在变化，所以没有构架没有先进不先进，只有最合适的。
整合一个应用构架，既要保证灵活度。我们在关键环节采用模块化的设计，成熟的设计，而不是每个模块都需要重新设计。这是很简单的道理，像你写一个程序，不要线性的形式，在关键的时候你调一个子程序，这个子程序别人验证过的，这样大大减少你整合的复杂度，降低你整合系统的风险，如数据库平台就可以采用哦Oracle ExaData一体机直接满足需求，大数据处理和分布计算可以采用Big Data Appliance。
信息标题：顾学明：基于云与大数据的智能GIS
本文地址：http://www.mapping178.com/news-3101.html
温馨提示：四川拓图伟业测绘科技有限公司竭诚为您服务，点击了解成都测绘公司！
阅读本文的人还看过：
您可能也喜欢：
与“顾学明：基于云与大数据的智能GIS”有关联的产品：
- 上一篇：霍文虎：全景真三维影像技术助力智慧城市建设
- 下一篇：中国北斗导航技术将助力巴基斯坦
