首页 > 资讯 > 正文

数据剖析更灵活、更快捷,火山引擎DataLeap动态探查全面升级_每日消息

来源:中关村在线 发布日期:2023-05-10 18:04:34 分享到:

近期,火山引擎DataLeap上线“动态探查”能力,为用户提供全局数据视角、完善的抽样策略,提高数据探查的灵活度以及响应速率。

传统的数据探查是基于库表的全量探查,由后端引擎执行,通过自动化检查数据成分、关系、格式等,以报告形式展示探查后列的统计分布结果,避免数据质量导致项目开发、上线出现问题,主要应用于元数据管理、数据研发、数仓开发以及数据治理等环节,满足使用者对数据质量初探的需求。


(相关资料图)

但在数据量级大、用户需要探查数据明细或需要数据预处理操作时,由于传统的数据探查要对全量表进行检测,导致无法实时产出报告、等待时间变长,灵活度低,且无法跟踪数据明细。

针对上述痛点,火山引擎DataLeap在传统数据探查基础能力上,进一步增强了动态探查能力。其特点在于:

● 基于大数据预览探查,支持对数据进行函数级别预处理。

● 数据探查结果秒级更新、实时响应。

● 与数据监控联动,有效打通数据探查到质量分析闭环。

据介绍,DataLeap动态探查的对象是抽样数据,支持连续抽样(按照默认顺序连续抽样前x条数据)、过滤抽样(使用where过滤语句过滤)、随机抽样(随机抽样x条数据)3种模式,用户可对数据进行预处理,实时、动态获得统计分布结果,具备灵活度高、实效性强的特点。

火山引擎DataLeap动态探查使用流程

除此之外,DataLeap动态探查具备对探查结果基础分析能力,包含列删除、过滤、排序等。用户对探查结果的每一次操作都会被记作一次操作,多次操作串联成操作栈,DataLeap支持用户自由修改或删减操作栈里的步骤,并实时查看最新结果。

火山引擎DataLeap动态探查操作栈

火山引擎DataLeap数据探查报告

目前,DataLeap动态探查可以应用在以下三个场景中:

● 场景1:用于分析型探查场景,用户可利用hive基本函数,如get_json_object,将列进行数据提取。

● 场景2:与探查报告打通,用户点击探查报告中的统计值,即可跳转到数据表格,并应用具体行过滤函数。

● 场景3:用于数据过滤后的探查场景,用户通过过滤和分组条件进行写条件探查,例如校验status=0时current_price为0的占比。

DataLeap是火山引擎数智平台旗下产品,提供数据集成、开发、运维、治理、资产、安全等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型,目前已经应用于泛互联网、制造、新零售、汽车等领域。(作者:姚元宇)

关键词:

x 广告

全球短讯!金鸿顺(603922.SH):拟对重庆伟汉增资4000万元

格隆汇12月28日丨金鸿顺公布,为提升重庆伟汉资本实力,拓展业务能力,公司拟以现金出资方式对重庆伟汉增加注册资本,增加注册资本金额全部来

全球速看:Go定时器的三种实现方式

很多时候需要周期性的执行某些操作,就需要用到定时器。定时器有三种思路。Sleep使用休眠,让当前Goroutine休眠一定的时间来实现定时的效果,

全球简讯:抢滩个人养老金,广发证券的“制胜术”

文 梁峰备受关注的个人养老金投资来了。11月25日,人力资源和社会保障部宣布个人养老金制度启动实施,在北京、上海、广州、西安、成都等36个城

全球通讯!超越ConvNeXt!Transformer 风格的卷积网络视觉基线模型Conv2Former

↑点击蓝字关注极市平台作者丨科技猛兽编辑丨极市平台极市导读本文提出一种卷积调制模块,利用卷积来建立关系,这比注意力机制在处理高分辨率

全球快看点丨长江投资: 长江投资:2023年第一次临时股东大会提示性公告

证券代码:600119     证券简称:长江投资        公告编号:临 2022-027       长发集团长江投资实业股份有限公司  

全球快资讯丨报告显示:当前科学研究呈现八大趋势

战略咨询院院长潘教峰表示,从整体上,《2022研究前沿》反映出当前科学研究的八大趋势特点。

每日视讯:冠城大通(600067)12月26日主力资金净买入244.15万元

截至2022年12月26日收盘,冠城大通报收于3 14元,下跌0 95%,换手率0 79%,成交量10 99万手,成交额3443 05万元。冠城大通融资融券信息显示,

环球今日报丨萤石网络(688475):将于2022年12月28日在上海证券交易所科创板上市

2022年12月27日公告发布

x 广告

Copyright   2015-2022 现在海洋网版权所有  备案号:粤ICP备18023326号-5   联系邮箱:855 729 8@qq.com