版面导航:| 新闻资讯 | 统计导刊 | 数说民生 | 经世导刊 | 行业看台 | 汽车时代 | 周末副刊 | 数苑观象 | 地方经济 | 新月刊 |
区域观察 | 经济观察 | 城市经纬 | 艺苑大观 | 调查月刊 | 特色产业 | 脱贫攻坚 | 青春之声 | 大数据时代 | 法治利剑 | 统计战“疫” |
  重点栏目:| 今日评论 | 潘璠视点 |
防疫物资监测_“爬虫”技术用处大_中国信息报
当前位置:[大数据时代] →返回首页
更新时间:2020年02月28日 08:54:56

防疫物资监测_“爬虫”技术用处大

■ 王科 

    新冠肺炎疫情防控中,一批大数据应用产品既方便了居民,又为政府决策提供借鉴与参考。特别是网络“爬虫”技术发挥了至关重要的作用。以医用口罩、医用酒精、消毒液、一次性手套等防疫物资为例,有必要对其供需状况实施严密监测。考虑到相应物资的网上销售占比较大,“爬虫”技术可以作为数据监测的有益补充。
    
    防疫监测中 “爬虫”技术显优势
    
    “爬虫”技术在本质上是一种较简单的人工智能,代替了浏览网站、查找数据并整理保存的人工手动操作。爬山虎、集搜客、八爪鱼、后羿采集器等多个中英文“爬虫”工具,可以 “零编程”抓取海量网络数据。产品开发者运用程序内提供的智能采集功能设定抓取规则,经过调试与完善后,在后续的数据抓取过程中能够实现“一键式”操作。
    一部分防疫物资通过淘宝、京东、苏宁、小红书等网站进行销售,对相关网站数据进行抓取、汇总和分析,能够得到相关物资的的信息。
    在疫情防控期间,出现了以“爬虫”技术为基础的大量应用工具,如与确诊患者同行程查询工具、疫情实时追踪工具、疫情辟谣信息、确诊患者活动轨迹查询工具等,应用十分灵活与广泛。在对疫情防疫物资的分析中,可以通过抓取关键字段,获取销售产品的商家、品牌、销量、价格、规格、产地、物流、促销活动与适用人群等信息,从而对相关数据进行深入挖掘与分析。
    
    医用酒精网销监测实例
    
    为更加清晰地说明“爬虫”技术在防疫物资监测中的应用,下面介绍一则实例。使用后羿采集器,以南京市浦口区为收货地,对京东商城2月5日-15日“75%医用酒精”相关产品的网上销售数据进行抓取及分析。
    供应情况:抓取结果显示,医用酒精的网上供应情况自2月13日后明显好转。从商家及上架商品数量看,2月5日,南京市浦口区居民可以通过京东商城,在97个商家出售的388个单品中选购“75%医用酒精”相关产品,到2月15日,商家数量增长到337个,上架商品数量增加1889个,分别比2月5日提高了2.5倍和3.9倍。
    从上架商品的可获得性看,需要抢购的商品占比由2月5日的10.3%下降到2月15日的4.9%,下降了5.4个百分点;暂时缺货商品占比由46.1%下降到10.8%,大幅降低38.3个百分点;可加入购物车的商品占比由46.1%相应提高到84.3%。
    从可购商品的发货日期看,需要延期3日以上发货的商品占比由2月5日的24.2%,在2月11日达到最高值28.7%后,目前已经回落至3.1%,在物流公司逐步恢复运营后,绝大部分相关商品可以及时发货。
    产品种类:酒精喷雾类产品和桶装医用酒精的供应增长较快,酒精棉球和酒精棉片等需要进一步加工的酒精产品仍相对紧缺。2月5日到15日,酒精喷雾类商品由215件大幅增加到1065件,在酒精相关商品中的占比由55.4%提高到56.4%,基本保持稳定;酒精棉球和消毒棉片的占比由9.5%和13.4%分别下降到2.8%和5.3%。
    
    如何加强“爬虫”技术在防疫中的应用
    
    事实上,例子中仅为“爬虫”技术在疫情防控物资监测中的一小部分粗浅应用,在加大投入的前提下,“爬虫”技术可以进一步发挥作用。
    第一,建立防疫物资供应的预警机制。“爬虫”技术可以紧跟现实数据更新的步伐,通过海量大数据,在较短的时间内完成对最新情况的数据描述。数据工作者可以借助“爬虫”技术与疫情的变化情况“赛跑”,对疫情的发展超前预判,为各级防疫指挥机构提供科学权威的决策依据。
    第二,完善基于数据的分析决策机制。疫情防控下,等级响应机制、复工复学时间等重大决策,不仅依靠各部门通过逐级上报得到的汇总数据,也可以参考“爬虫”抓取的网络数据,形成更加科学、精准、高效的决策判断。将“爬虫”技术作为用数据说话、用数据决策的有益补充,形成大数据与传统数据的联动效应。
    第三,规范“爬虫”工具的使用机制。使用“爬虫”技术抓取数据,不可避免地会对被抓取网站的服务器带来较大流量负担,有时还可能涉及到网络用户的个人隐私,部分网站因此设置了反“爬虫”机制,提高数据抓取门槛,设置数据抓取障碍。建议在疫情防控过程中,相关部门在充分发挥“爬虫”技术作用的同时,通过细致的观察与及时的总结,厘清应用“爬虫”技术的范围、条件与法律界限,确保数据获取与使用合法依规,促进相关技术有序发展。
(作者单位:国家统计局南京调查队)

 
[近期推荐]
· 国家统计局党组深入学习...
· 宁夏局积极开展疫情期间...
· 广东局密切监测分析疫情...
· 国家统计局党组就贯彻落...
· 国家统计局党组深入学习...
 
[联系我们]
中国信息报记者名录

新闻热线:(010)63376728
广告热线:(010)63376800
发行热线:(010)63376723
举报电话:(010)63376713

中国产业报协会
产业报行业报新闻道德委员会
举报投诉电话:010-65573925
举报投诉邮箱:xwddwyh@126.com

报社简介 | 广告刊例 | 投稿信箱 | 记者名录 | 新闻记者证管理办法 | 报刊记者站管理办法 |
通讯地址:北京月坛南街57号国家统计局中国信息报社 邮政编码:100826
网址:http://www.zgxxb.com.cn 中国信息报社版权所有
京ICP备06043878号-2