工程案例1—地图数据算法工程化
今天上了工程案例课程的第一节课,请到了丰图科技陈总工程师为我们做了一次有关地图数据工程化的技术讲座,收获颇多,下面就讲座内容做一下总结分析。
工程案例课程设置
一开始,吴老师说了一些关于课程设置方面的思考。
在以往的工程案例分享课程中,请来的行业大佬们主要就创业创新、公司发展历程等较宏观问题作了很多精彩生活的经验分享,但是研究生这个阶段里对于创新创业等感悟吸收往往还没有那么深刻。
所以这学期做了调整,请的都是行业内的技术人员,他们讲的内容可以聚焦于行业内具体的需求和技术,对于学生们更好了解行业和今后的实习、求职会更有帮助。我十分认可吴老师的这番话。
陈工的讲座主要分为两部分,一是丰图公司的简短介绍,二是他们公司是如何做地图数据算法工程化这件事的。
丰图科技
丰图科技(深圳)有限公司成立于2018年6月,前身为顺丰科技地理信息研发中心,是顺丰集团内部孵化的一家专注于地图领域的科技公司。
截至目前公司员工近500人,核心成员多来自行业内知名图商、GIS行业公司,具有丰富的互联网高精地图开发及GIS行业信息化项目经验。
丰图科技以时空大数据底板,即工业级地图为依托,打造物流数字孪生平台和城市数字孪生平台两大指挥中枢,聚焦交通、社区、产业经济三大场景,去孵化更多的具体业务应用。
相较于高德、百度这种老牌图商,他们的核心竞争力主要体现在 鲜活、精准、稀缺和独特的数据资源。每天上千万频次的送货到门的物流订单是他们最主要的优势数据,将测绘地图数据和业务数据结合起来就可以打造一个包含AOI、POI、房屋地址、语义地址、实景图片、企业经营地址、实时路况等众源数据的高精度、高更新频次数据库。
地图数据算法工程化
陈工将地图数据算法工程化分为三块内容做了进一步阐述
- 地址信息挖掘提取(优势)
- 路网信息挖掘提取(与高德、百度的差别)
- 城市三维建模(未来)
地址信息挖掘提取
地址是什么
地址信息的挖掘提取是丰图科技最关键最核心的技术。
首先,地址是什么,和与之相关的一系列延伸概念。
地址的概念很简单普遍,即你在哪,通常我们不会以经纬度去判断位置信息,更多的是通过文本信息去找位置,例如我们互相告知位置时,不会说经纬度,而是说我在武汉大学信息学部某某栋楼的几层几零几,这就是地址。
地址可以延伸一系列的新功能,如
地址的处理:地址拆分治理、地址名称标准化
地址的深度:地址上图、地址调度、专业市场、地址类型、地址上楼、地址可达、地址真假、地址活跃度
地址聚合分析:楼盘表、停电地址聚合通知、地址画像、选址
以上每一个新概念都代表一种研究方向or业务方向,都可以往下延伸…
地址怎么做
如上图所示
如何做好地址具体分为模型、算法、数据和工程化应用四个步骤
模型
模型就是如何去定义地址这个类,地址可不只是一串文本,它是个下属很多功能细节的标准类,举例说明 地址模型可能包含的属性:
class | 省/市/街道/社区 |
---|---|
name | 标准名称 |
semantics | 别名 or 标签 |
geometry | id OR point OR 2D OR 3D |
relation | 拓扑空间关系 |
算法
众源数据包括影像、轨迹、视频等等,不同的数据有各自的优劣所在,针对不同的数据又有不同的算法
目前做地址判别这块 比较好的 还是用规则+人工,机器学习并不理想。
以下面这个例子说明,这机器学习咋学特征,
目前来说工业界的地址生成 还是靠规则+人工更靠谱一点
当然,这不是说研究那些算法就没意义了 ,知识是可以迁移的,像挖掘人群活动、用户画像,预测分析等等还是需要大量的算法做支撑。
数据
这一部分主要回答两个问题,工业界是如何对数据做定义的,工业界是如何来生成数据的。
数据是什么?
按要素分类:行政区划、AOI 、BLD、ROOM…
按功能分级:有无数据、数据是否重合、从数据中挖掘的个体与群体的关系..
如何生成数据?
按流程分阶段:工艺 —> 平台 —> 生产运营;先初始化 —> 再不断更新
按手段渐进:自动为主、人工补充,再不断精进自动
检验质量的三大指标:成本、质量和周期
工程化
一个东西一旦工程化就要思考这三个问题
- 如何从功能到体系
- 如何从项目到能力
- 如何去打造这个工程
用户在输入端输入一串地址文本,要经过哪些流程才可以正确地生成一个快递单号。中间要走的逻辑层有哪些,平台背后有哪些部门在相互配合
逻辑层:输入 —> GEO —> 定制匹配 —> 审补服务 —>人工审补 —> 输出
平台支撑:运营 + 算法 + 数据生成
路网和三维
路网和三维的内容就比较常规了,不再过多阐述
个人总结与思考
本次讲座还是学到了很多东西,从业界去看待问题会以经济实用可靠作为首要考虑因素。有以下思考:
- 相较于高德百度这种高精度道路图商,丰图做的更多是社区级识别探测、关注城市内部各因素的变化,地址是他们的优势服务领域
- 丰图快递行业的及时无误性 要求他们的地址精度要做的很高
- 美团其实和快递很像,甚至美团每天的外卖单据数量还要多余快递(我觉得),丰图目前的优势感觉美团也可以做的很好,而且美团涉及的人们生活更为深入(外卖、自行单车、电单车、无人配送..),这样相比,丰图较之美团的优势在哪里呢?