投稿
  1. 商川网首页
  2. 知识百科

如何使用空间模块实现快速准确的数据采集

juju • • 知识百科

空间数据的概念

空间数据（Spatial Data）是指用来表示空间实体的位置、形状、大小及其分布特征诸多方面信息的数据，用来描述来自现实世界的目标。本白皮书中，空间数据主要由视觉图像数据转换而来，所涉及的核心数据类型包括：点云、三维模型、表面模型、位置点、向量、路径、图片、网格等，数据体现出海量多模的特征。由于数据资产管理和未来大量多维分析计算能力的需求，海量多模空间数据需要入库统管，库内需要提供原生数据类型、多模数据导入函数、空间计算算子等能力保证空间数据的采集、存储、处理、生产、调用全生命周期的高效管理。空间数据管理技术是实现数据资产归口和高效空间计算的重要保障，海量多模空间数据一库统管成为热点方向。

空间数据管理的关键技术模块

空间数据管理技术主要包括数据存储管理技术、数据高效检索技术、数据可视化支撑技术及数据安全技术四方面。



空间数据存储管理技术



中间件存储与原生库内存储是空间数据存储管理技术的两大重要分支。为了实现多数据源、多尺度、多类型空间数据的统一集成管理，传统 GIS 厂商致力于开发中间件形态的空间数据引擎来管理空间数据，以 ESRI 公司的 ArcSDE 和 SuperMap 公司的 SDX+为主要代表。此类空间数据引擎主要面向宏观领域，允许用户在多种数据管理系统中管理各类地理空间信息，但它将空间数据以二进制的方式存储在数据库中，数据库自身并不需要具备直接解析空间数据的能力，所有的查询访问通过中间件提供的能力开展。与中间件模式并列，IT 厂商为方便多模与通用数据的融合处理并提升大数据量处理性能，选择从数据库/数仓/数据湖等原生数据管理系统进行空间能力扩展，数据库系统内置了大量空间数据类型以及面向空间数据对象的分析计算函数，通过数据库系统维护事务的完整性以及程序执行的原子性，通过标准的 SQL 访问模型提升用户访问的便利度。



在商业数据库领域，Oracle 最早推出了 Oracle Spatial 模块支持空间数据的储存，分析和计算，提供了一套 SQL 方案和函数，用来存储、检索、更新和查询数据库中的空间要素**；开源数据库软件如Pos**reSQL 同样具有空间数据库引擎 Pos**IS，提供了一整套空间数据的存储和计算分析能力；LocationTech 公司开源了一套分布式地理大数据存储框架，支持 HBase 和 Cassandra 数据库等分布式 NoSQL数据库；Milvus 是开源领域优秀的向量数据库，能够为万亿级向量数据建立索引，非常擅长处理由各种非结构化数据转换而来的 Embedding 向量。近些年随着云计算的兴起，各类云厂商充分发挥云平台的弹性和分布式的特征，针对空间数据的原生库内存储计算能力也做了云化提升，这其中最有代表性的是阿里云借助自研 Ganos 云原生时空引擎统一了数据库、大数据和数据湖多形态支持空间数据处理，覆盖支持矢量、栅格、轨迹、点云、三维（包含矢量三维模型、BIM 模型、精细化模型、白模、倾斜摄影模型等多种）、图像、向量等全空间各种数据类型，拥有空间数据无损压缩与冷热存储能力，将原来分散处理的数据进行一库统管与融合计算，充分适应空天计算、三维重建、空间感知、智能孪生等宏微观领域，走在了国际前沿。



空间数据高效检索技术



高效空间数据索引构建能力是实现空间数据快速检索的重要保障。空间索引是指依据空间对象的位置和形状或空间对象之间的某种空间关系按一定的顺序排列的一种数据结构，其中包含空间对象的概要信息，如对象的标识、外接矩形及指向空间对象实体的指针。空间索引性能的优越直接影响空间数据库和空间计算系统的整体性能，常见的空间索引主要包括网格索引、R 树索引、GiST 索引和向量索引。



网格索引是将研究区域按一定规则用横竖线分为小的网格，记录每个网格所包含的空间对象，当用户进行空间查询时，首先计算查询对象所在的网格，然后通过该网格快速查询所选的空间对象，针对矢量点/线、点云数据，网格索引提供了通用的快速检索能力；R 树索引运用了空间分割的理念，用空间数据的最小外包矩形替代空间数据本身。它将空间对象按范围划分，对于海量点云数据、三维模型数据等按区域检索有十分高效的性能；GiST 索引允许定义规则来将任意类型的空间数据分布到一个平衡树中，并且允许定义一个方法使用此表示形式来让某些运算符来访问；向量索引是指通过某种数学模型，对向量构建的一种时间和空间上更高效的数据结构。借助向量索引，我们能够高效地查询与目标向量相似的若干个向量，十分适合图像搜索这类高维向量检索场景。



空间数据可视化支撑技术



空间数据可视化支撑是数据管理能力的直接体现。空间计算领域中在管理好海量空间数据的同时，还需要快速浏览数据库中的大规模在线数据。传统用于“底图服务”的离线切片生产流程很难做到在线联机处理。在空间计算领域，需要空间数据管理能力同时支持将原始数据存储和可视化访问进行关联，建立一种新的可视化索引，并在此基础上进行空间数据的快速显示访问。快显能力可为单个大表中的矢量/栅格数据创建稀疏金字塔，加速出图显示的效率，同时为了方便使用，可自定义金字塔的稀疏程度，自主控制创建耗时、额外存贮、访问效率三者之间的平衡。针对三维空间数据，快显能力可动态实现三维数据的快速裁剪与简化，配合业务场景的需求构建多级 LOD（Levels of Detail）能力，同时可在库内实现纹理、材质的管理与切割，在保障三维模型精准度的前提下，加快海量三维数据的渲染。



空间数据安全管理技术



空间数据安全管理为空间计算与信息安全交叉领域，密态数据管理、多方联合计算、数据防篡改、隐私增强形成四大核心方向。空间计算涉及到空间数据的采集、存储、处理、生产、调用等，保障这些数据在被管理和利用时的安全性是一个非常重要的技术维度。一方面，空间数据有很高的社会价值和商业价值，需要保证这些数据被管理的过程中不会被恶意窃取或者篡改；另一方面，很多空间数据会涉及到个体的隐私（如地理位置、geotag 图像等），需要保证这些数据在被利用的过程中不会泄露个人隐私。空间数据管理中关键的安全技术包括较为成熟的传统数据库安全技术（如访问控制、敏感数据发现和脱敏、数据审计、落盘加密、数据备份等），以及新型数据库安全技术：



密态数据管理：保证敏感空间数据在采集、存储、处理、生产、调用的全生命周期仅以密态形式出现，包括系统/数据库管理员在内的任何人无法直接访问数据明文，从而避免数据泄露问题在服务器端发生。其核心技术包括可信执行环境、同态加密等。



多方联合计算：在多个组织的数据在需要联合使用的场景中，保证各参与方在不需要泄露各自数据前提下即可完成联合计算任务，避免共享明文数据存在的数据泄露和个人隐私泄露问题，打破数据孤岛。其核心技术包括空间数据多方安全计算、联邦学习等。



数据防篡改：解决数据在被管理和操作过程中，被恶意篡改而失真的情况，保证数据在被后续使用过程中的数据不可篡改性、历史可追溯性和操作不可抵赖性，提供具有公信力的数据真实性举证能力。其核心技术包括空间数据区块链、可验证数据结构等。



隐私增强计算：保护涉及个人空间数据在采集与发布阶段中涉及的数据隐私，通过增强所采集发布数据的不可区分性来达到隐私保护目的，避免涉及个人空间数据在被使用过程中违反各国数据安全相关的法律法规。其核心技术包括空间数据泛化、差分隐私等。



【来源：虚拟现实与元宇宙产业联盟《5G 空间计算白皮书（2023）》】

本文来自投稿，不代表商川网立场，如若转载，请注明出处：http://www.sclgvs.com/zhishi/73523.html

赞 (0)
jujujuju
0
上一篇 2023年 8月 9日 07:20:15
下一篇 2023年 8月 9日 07:20:19

相关推荐

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。