DGIOT是一个面向物联网的开源数据分析平台,它为用户提供了快速、高效采集、管理和分析物联网设备数据的能力,并具备多种数据处理和可视化展示方式。
DGIOT的安装实例数已经超过 35.2k,用户遍布全球。拿下多个物联网产品的领域赛道冠军。
已承建多个重大国际赛事场馆数字驾驶舱、平安校园数据中台、电信级设备监管平台、千亿级产业大脑等。
全开放源码,全流程低代码。
强大开源社区,集成和兼容各种开源工具。
商业级物联网基座,快速承接物联网项目。
面向工业物联网的轻量级开源平台,致力于平台的标准化和工具化。打造全面、丰富、专业的开源生态产品及服务。
首页 › 用户案例
[小 迪 导读]:在物联平台运行时,设备不断增加,平台压力不断增加,平台的承受能力至关重要。
dgiot海量用电信息采集与管理平台实现对关口、专变用户、公用配变、低压用户的采集全面覆盖对各类用电信息实现全面采集、监测;实现购电侧、供电侧、售电侧综合统一的信息管理,涵盖了传统意义上的厂站电能计量遥测、负荷管理、低压集抄等系统满足售电企业电能信息精益化管理要求,为企业提升快速响应市场变化、快速反映客户需求从客户用电信息的源头提供数据支持。平台不仅支持宽(窄)带载波、微功率、RS485、2/3/4G等传统采集网络,同时支持LoRa(WAN)、NB-IoT、ZETA等新型物联网网络采集;为国家电网公司泛在电力物联网建设中的高频采集、停电上报统计、电表分钟级召测、电压电流采集等营销业务策略的实施提供宝贵建设经验与技术支撑。同时,平台在支持单通道采集同时,新增了多通道采集与采集通道智能切换功能,不但可以提升采集成功率与稳定性,而且可以为传统用电信息采集优化运维模式、提高运维效率、进行物联网探索应用提供典型经验。
平台基于弹性分布式计算的高扩展性技术架构,各组件充分冗余实现高可靠性,主要实现自动化抄表、用电监测、线损分析、配用电分析等功能。同时,平台具备海量物联网连接管理、设备管理、海量数据存储等功能,可提供覆盖电网领域全产业链各专业方向的物联网增值服务;辅助实现配用电设备广泛互联、信息深度采集的建设目标;实现用电侧采集监控深度覆盖,提升终端智能化和边缘计算水平。使用精细化的数据采集技术,提炼数据模型,快速迭代商用抄表用户服务,为用户提供智能化、个性化、精准化的商业抄表的高质量客户增值服务
当前电里系统用电信息采集业务过程管控以地市应用为主,严重缺乏省级采集日常监控、指标分析、数据质量分析等实时监控与智能分析,数据可视化水平不高,需开展省级采集运营分析与监控技术研究工作,实现全省采集数据质量综合的管控与展示。此次压力测试的目的是:通过在测试环境中,运用压力测试策略和定制化测试工具(dgiot虚拟电表集群、虚拟主站集群、虚拟前置机集群)对dgiot海量用电信息采集与管理平台的关键节点进行压力测试。通过系统内模拟5万集中器、3000万智能电表(参照省级电力用户用电信息采集系统规模)高频数据采集业务场景,利用科学智能化采集策略与任务调度实现不同类型(周期任务、补抄任务、临时任务、即时任务)采集任务高效平稳的下发、执行、返回;利用定制化数据工具对海量采集数据进行快速高效检索;利用影子设备对计量设备运行状态的在线监测;通过与模拟用电信息采集系统主站的对接,模拟采集数据的节奏可控、策略可调的主动上报或高频度召测、召读即时响应;通过虚拟发送的方式可以实现错峰主动上报,保障各服务运行稳定;提供标准API接口,可供数据分析、大数据挖掘;最终得出各系统节点的性能情况指标数据,以此来对整个海量用电信息采集与管理平台性能做出评估。
此次压力测试的内容和范围是dgiot海量用电信息采集与管理平台采集任务综合管理模块、云设备管理模块、智能协议解析服务组件、数据网关服务模块,从数据采集数据开始到dgiot海量用电信息采集与管理平台展现数据、查询。dgiot海量用电信息采集与管理平台又分为前后台,由于后台使用频率较小,故不纳入此次压力测试范围。由于整个业务流程需要和设备云平台交互,虽然设备云平台不在此次测试范围内,但也需要模拟设备云平台向设备发起获取数据请求,测试整体业务性能。如发现由设备云平台引起的性能问题则推动外部解决,不作为此次测试的重点。此次只针对于海量用电信息采集与管理平台自身开发的海量任务抄表功能或接口服务程序进行测试。
图1:海量用电信息采集与管理平台业务数据流向图
dgiot海量用电信息采集与管理平台前台应用的主要功能包括户表关系管理、任务综合管理、实时采集、设备管理、运行监控、数据展示、系统管理七大体系组成。由于实时采集和系统管理使用频率非常低,所以不作为此次测试对象。其余的功能模块按优先级由高到低依次递减为:任务综合管理、运行监控、设备管理、实时采集、数据展示。在此选取了部分主要业务场景作为测试对象,一共有如下几点:
如图1所示,主要测试对象,共有如下四个:
1)dgiot海量用电信息采集与管理平台影子设备的整体性能
2)与设备云平台交互的数据网关服务模块
3)智能协议解析服务组件
4)采集任务综合管理(主要是定时任务下发、任务执行功能)
各测试对象的详细说明如下:
对于dgiot海量用电信息采集与管理平台(WEB应用服务)部分,主要对应平台档案信息管理、设备管理模块;通过查看影子设备运行情况掌握真实物理设备的运行情况,可以及时;了解智能电表、集中器的运行情况;对存在问题的设备进行检修与维护等。主要测试的是平台应用服务的平均响应时间和吞吐量等。
处理用电信息采集与设备云平台收发数据的程序是数据网关服务组件,双方根据设备云平台接入接口进行交互。设备云平台获取数据消息为DL/T645-2007协议、Q/GDW1376.1-2013电力用户用电信息采集系统通信协议-主站与采集终端通信协议。
主要测试服务功能如下:
针对数据网关服务模块主要测试的是程序收发数据的速度。
该程序是用于从消息队列中获取信息并解析成数据写入缓存和数据库中。从消息队列里取任务数据、任务结果数据进行处理。针对这块程序主要测试程序的处理速度和稳定性。
定时任务一共有如下7个:
1)任务配置
2)策略配置
3)任务触发
4)任务下发
5)结果返回
6)任务结果存储
7)任务结果展示
这块主要测试的是定时任务在大数据量的情况下的稳定性、执行速度、存库成功率、抄表结果查询效率等。
dgiot海量用电信息采集与管理平台的网络拓扑结构图如下:
图2:dgiot海量用电信息采集与管理平台系统网络拓扑结构图
各个测试对象对应上图中的部署机器如下:
1)"WEB应用服务器"部署的是dgiot海量用电信息采集与管理平台web应用(前端)、平台缓存是在"缓存服务器"、平台数据库是在"数据库"服务器上。
2)与设备云平台交互的数据网关服务部署在"接口服务器"上。
3)消息解析程序部署在"智能协议解析处理服务器"上。消息队列单独部署在"消息队列服务器"上。
测试环境机器配置:
针对dgiot海量用电信息采集与管理平台(WEB应用)采用的测试策略如下:
1、首先在数据库中把业务数据量加到压力测试标准值后,单次访问各主要页面功能,先确保平台上的各块功能在单次操作下,响应时间不超过5秒。排除明显的性能问题。
2、选取典型省级用电信息采集业务场景,对整个平台进行负载测试。按照省级平台并发数,直到请求响应报错(包括服务器拒绝、超时、程序报错)或者系统、程序崩溃。由于时间问题,此次不单独针对单个业务场景做测试,如果在测试过程中发现某个业务场景性能可能存在问题,再单独压测。
3、平台稳定性测试,在用户访问峰值压力下,持续访问平台功能,测试平台是否能长时间稳定运行。
预期得到的测试结果指标有:
针对dgiot数据网关服务的测试采用如下策略:
1、先测试单次收发数据的处理响应时间,排除明显性能问题。
2、再分别测试数据接收和下发的处理速度。测试数据接收速度的时候,写程序用协议模拟智能电表直接上传大量的实时监控数据。发送完后统计全部写入消息队列的时间、验证正确率。测试下发时,先在消息队列中加入大量下发数据,再开启程序发送到设备云平台,记录消息全部出队列时间,即下发完成耗时。
3、最后测试程序较长时间运行的稳定性。
4、测试过程中需要监控消息队列的处理情况和系统资源占用情况。
针对智能协议解析服务程序的测试采用如下策略:
模拟真实海量电力集抄(3000万智能电表)业务场景,准备大量抄表业务数据消息进入消息队列,开启数据网关程序执行智能协议解析程序及入库操作,执行完后记录处理时间,校验处理结果的正确性。
预期得到的测试结果指标有:消息处理速度5000条/秒和最小持续稳定运行时间(电信级稳定,年中断时间不超过5分钟)。
针对定时任务的测试策略和方法如下:
在测试数据库中加入一定量的用电信息采集业务数据,然后开启各个定时任务执行,记录定时任务的执行时间和资源消耗情况,校验处理结果的正确性。
预期得到的测试结果指标有:每个定时任务的执行耗时。
本次压力测试要使用到的测试工具和用途如下:
本次dgiot海量用电信息采集与管理平台测试使用开源压力测试工具虚拟电表模拟用智能电表接收平台数据情况,通过MQTT通信完成采集数据回传,对被测系统进行负载测试。如果在测试WEB应用过程中发现某些页面单次访问加载时间很慢则采用ChromeNetwork工具进行排查。对于服务器端使用Grafana服务直接通过目标拉取数据,或者间接地通过中间网关拉取数据实现。
监控的目的根据压力测试下不同业务场景、不同复杂度环境的下服务器的性能指标、平台业务数据指标确定平台的运行状况,对平台调优,确保平台可以支持同等规模真实场景业务的运行。
本次压力测试要使用到的测试程序及其功能定义如下:
每次压力测试结果数据由测试工具Grafana自带的监听器搜集成聚合报告。
压力测试报告需关注的参数和指标如下:
服务器资源占用监控工具选用Prometheus服务来监控,具体需要监控的服务器指标有:
对于数据库需要监控的指标有数据库连接数、SQL执行时间、监控执行太慢的SQL。对于web服务器需要监控的有:当前连接请求数、log日志。
测试环境准备:
测试机器内存使用情况:(开销平稳,低于 50% )
测试机器 CPU 使用率:(开销平稳,无明显)
测试加载智能电表( 3000 万):
测试加载集中器( 50000 台):
智能电表运行监控:
集中器运行监控:
根据测试方案既定的测试策略和方法,测试出dgiot海量用电信息采集与管理平台性能情况如下:
|
暂无
测试与设备云平台交互的数据收发模块分为两部分:一部分是虚拟设备(集中器、智能电表)采集数据、登录与心跳接收,另一部分是采集任务指令、登录确认、心跳确认数据下发。主要测试程序收发数据的速率是否平稳。
测试抄表任务配置:
定时任务主要测试任务执行时间,详细测试结果见下表:
| | 测试结论 | 按照5万集中器、3000万智能电表的业务量测试结果,所有定时任务的执行速度都能够满足业务需求 |
平台实现与设计稿一致。站点的导航条位置,导航的内容布局,首页呈现的样式与需求一致。网站的界面符合标准和规范,直观性强。
分不同账号、总权限账号,以及管理员账号分别进行功能测试。
1:链接测试无问题,不存在死链接,测试链接都存在.
2:对页面各个不同数据的测试,主要的出入库,销售报表,订单查看管理等一一对应,不存在数据有误差的问题.
测试总的浏览器包括:谷歌浏览器, 360浏览器,IE浏览器,测试通过,主要逻辑以及次要功能均运行正常;
【注】:因浏览器的差异,有时候会导致界面浏览的显示差异。
网站实现了如下易用性:
输入限制的正确性
输入限制提示信息的正确性,可理解性,一致性
界面排版美观
web应用系统易于导航,直观
web应用系统的页面结构、导航、菜单、连接的风格一致
本次测试主要进行了压力测试:
测试整体结果:
单库5亿抄表结果下查看单个任务的抄表结果:
按照集中器查询抄表结果:
本次压力测试模拟5万个物理集中器、3000万智能电表的真实用电信息采集场景(参照省级电力营销计量真实业务场景设计),进行72小时不间断压力测试,每2小时完成一轮全局抄表、补抄,测试期间服务运行稳定;测试服务器(单台,12核,48G内存)各项指标平稳;采集任务调度执行满足要求,抄表成功率(基本稳定趋近于100%)高于传统用采系统。在稳定性与性能方面,可达到电信级的指标。
测试主要数据说明:
海量用电信息采集与管理平台V2.0,可满足5000台物理集中器、3000万台智能电表业务承载;通过集群化部署,可支持物理集中器对接、智能电表的无限扩展。
[小 迪 点评]
想了解更多 dgiot 的具体细节,欢迎大家在GitHub上查看相关源代码。
加微信咨询
请填写下面表单,我们的工作人员会与您联系。
报错: 未找到这个表单
请填写下面表单,我们会即时将最新版本下载地址发到您的邮箱。
加小迪为好友即可加入交流群