主页 > 云主机 > > 正文

专属服务器_集团企业网站建设_12月免费

浏览:

专属服务器_集团企业网站建设_12月免费

1简介

HANA SDI可以满足数据提取、加载和转换的各种需求。在数据加载风格方面,它支持实时复制和批处理,基于push和pull。

在这篇博客文章中,我想概述一个选项,人工智能工作,即基于pull的微批处理如何在简化的用例中与SDI一起工作。showcase利用了HANA XSC运行时(虽然不是最先进的,但仍然适用),其中大部分是设计时对象。一些物料数据集将以批处理方式加载,使用预定的xs cron作业,提供某种扩展选项。

2。上下文

在我们的用例中,每分钟、每小时或每天都需要从一个远程源加载材料实体。没有简单的方法允许实时或基于批处理的数据复制。这可能是由于各种原因:

没有CDC可能/允许在源中源中缺少授权合规性问题

因此,必须以涉及一些基本自定义逻辑的方式识别变更数据。

前提条件是基于日期/时间的创建和/或变更属性。它们充当某种标记,用于确定下一个delta数据集的范围。由于涉及的表是MARA和MARC,因此可以使用创建和更改日期。最后,XS cron作业以定义的频率触发数据流的执行。

3。HANA/SDI工具集

我们将使用简单的SDI流程图和一些存储过程来实现需求。流程图由两个数据源组成,云实,两个数据源连接在一起(MARA+MARC),经过过滤后被推送到某个数据汇,即一个目标表中。源表可以基于任何适配器的远程源,通常适用于此类ELT流。

一个参数可以过滤上次成功加载后的数据。存储过程负责查找上次成功执行HANA运行时任务的加载日期。流程图任务的实际执行由HANA XS作业触发。在XS作业定义中,可以在初始负载和增量负载之间进行决定。

以下视觉概述了所描述的步骤。

4。限制

未反映源表中的删除。原因是使用的更改指针、创建或更改日期。考虑到这种方法,没有选项来识别删除,大数据怎么看,并且使用流程图将这些删除应用于目标。假设应用记录保存在目标中。

5。实现/数据流建模

首先引入了一个带有一些默认值的类型表达式变量

简化的数据流如下:

两个数据源:ERP表MARA和MARCFILTER_DELTA节点:MARA列的子集+使用varDate变量的FILTER逻辑JOIN\u MARA\u MARC:两个表的内部连接物料\模板\表:目标表

过滤节点采用一些简单的过滤逻辑。它将根据创建日期(ERSDA)或更改日期(LAEDA)进行过滤。

目标/模板表的writer type将设置为upsert,否则您可能会遇到唯一的约束冲突。

SP_loadDateLookup

存储过程SP_loadDateLookup传回HANA运行时任务的上次成功加载日期。定义任务名称作为输入参数。或者,根据您的需求,将返回参数定义为日期/时间/时间戳。

SP_loadMaterial

存储过程SP_loadMaterial触发执行SDI流程图的HANA运行时任务。作为输入参数,定义了初始加载标志。此标志使控制数据流的执行更加灵活,并决定初始加载(最初目标表被截断)和增量加载(考虑变量和最后成功加载日期,无截断)。

用于触发相应任务执行的存储过程可能如下所示:

为了安排SP_loadMaterial过程的执行,将创建一个XS cron作业。这个调度程序.xsjs文件定义了.xsjob文件触发的各个函数。在当前用例中,函数将初始标志传播到过程调用,这样您就可以在作业定义中决定它是用于初始加载还是增量调度程序.xsjs文件:

来自xs管理工作区,您可以决定初始加载和增量加载(URL::/sap/hana/xs/admin/jobs):

表比较转换提供了另一种使用hana SDI实现批处理的方法。我看到的明显的缺点是需要引入DB序列并删除真正的主键。这可能会对这些表的数据建模/消费端产生影响,因此选择哪个选项是有争议的。但是,自助建站模板,表比较转换还具有反映删除操作的功能,中国移动物联网,这在给定的场景中没有反映出来(如限制部分中最初所述)。作为如何实现表比较的参考,请阅读我的另一篇博客(https://blogs.sap.com/2016/06/02/sdi-odata-adapter-in-hana-sps12-get-put-and-replicate/)或者在Youtube上访问HANA学院的资料。根据您希望处理批处理的频率,可以使用日期+时间来实现更精细的粒度。您必须更改任务执行表中的查找,并返回上一次成功加载的时间戳,而不仅仅是日期。

发表评论
验证码: 点击我更换图片

注:网友评论仅供其表达个人看法,并不代表本站立场。

热门文章

  • 域名备案_阿里云销售顾问_最新活动
    <strong>域名备案_阿里云销售顾问_最新活动</strong>

    域名备案_阿里云销售顾问_最新活动

    高速互联网和功能强大的应用程序使得几乎所有有办公桌工作的人都可以在家工作。然而今天,大多数公司仍然坚持要求员工忍受有时令人心碎的上下班路...

  • 数据库_分布式消息中间件实践pdf_免费领
    <strong>数据库_分布式消息中间件实践pdf_免费领</strong>

    数据库_分布式消息中间件实践pdf_免费领

    作者:马库斯·瓦纳关于2017年趋势的讨论正在迅速而激烈地展开,职场也不例外。随着新的一年即将到来,职场趋势专家们正在为2017年列出自己的预测清单...

  • 域名注册_自考数据库_免费6个月
    <strong>域名注册_自考数据库_免费6个月</strong>

    域名注册_自考数据库_免费6个月

    正如Facebook和Twitter首席运营官(COO)上周在美国国会作证时所说,出现的一个突出主题是,这些公司在保护其平台免受网络攻击方面所扮演的角色。这些公...

  • 域名解析_阿里云是什么意思_怎么买
    <strong>域名解析_阿里云是什么意思_怎么买</strong>

    域名解析_阿里云是什么意思_怎么买

    类别工作日新闻与文化财务人力资源规划技术创新分析与见解客户和社区行业金融服务政府保健高等教育款待媒体和娱乐专业和商业服务零售技术更多播客...

  • 网站服务器_王者荣耀服务器未响应_限时
    网站服务器_王者荣耀服务器未响应_限时

    网站服务器_王者荣耀服务器未响应_限时

    日本甲骨文公司今天宣布,ISOU项目采用甲骨文区块链平台管理一种本币的发行和消费。日本甲骨文公司是ISOU项目的支持公司,该项目旨在解决人口稀少地...

云储存

更多 >
  • <strong>百度云_阿里云搜索_评分榜</strong>
    百度云_阿里云搜索_评分榜

    附件非常有用,它们使文档完整,节省时间和精力,并且非常易于使用。你浏览,你附加和…它完成了!现在呢?查看文档或主数据记录中的"附件"选项卡...

  • <strong>阿里云_视频网站建设_价格</strong>
    阿里云_视频网站建设_价格

    如果您与"Pick Pack and Production Manager"一起工作,那么您已经熟悉了适合多种场景的灵活选择标准。某些标准集是一次性使用的,而其他标准集可能会定期重复...

云储存香港带宽_华为智汇云_折扣
云储存微软云_建筑企业网站_限量秒杀
云储存云存储_中国经济与社会发展统计数据库
云储存虚拟主机_西南林业大学阿里云_折扣
云储存阿里云_故事的故事百度云_企业0元试用