基于MaxCompute InformationSchema进行冷门表热门表访问分析

  • 时间:
  • 浏览:1
  • 来源:大发5分快乐8_极速5分11选5

一、需求场景分析

在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望不需要 利用元数据的分析来更好地掌握不同数据表的使用状况,从而优化数据模型。

有另有有1个 MaxCompute项目中总是使用的表简称为热门表,使用次数较少肯能很长时间不使用的表简称为冷门表,本文将介绍怎么才能 才能 去通过MaxCompute元数据信息去分析热门表和冷门表。

二、方案设计思路MaxCompute Information_Schema提供了项目中全量的表元数据信息Tables以及富含访问表的作业明细数据tasks_history,通过汇总各个表被作业访问的次数不需要 获知不同表被作业使用的频度。

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com;肯能您发现本社区富含涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

详细步骤如下:1、热门数据通过获取tasks_history表里的input_tables字段的详细信息,然