主页 > 云服务 > > 正文

香港带宽_服务器cpu型号_免费申请

来源:胜利云 发布时间:2021-05-01 08:34 标签:服务器香港型号带宽免费申请
浏览:

将数据从Kafka加载到Hana云时,有两个基本问题需要回答:

SAP Kafka Connect是为一个极端而构建的,其中Kafka只包含表级别的更改—没有嵌套数据—并且没有结构更改。缺少的是另一个极端。

一个Kafka接收器,它可以加载任何Kafka消息,并将这些嵌套数据存储在关系模型中–Hana Cloud Loader(这个github页面包含所有关于安装、docker容器位置、配置等的信息)。

如果消息只是关系型的,数据分析方法,一个表就足够了。对于嵌套对象,连接器为Avro模式中的每个数组字段创建一个单独的表,子表还包含主表的主键以供参考。

在本例中,客户模式有一个包含多个CompanyAddress行的子模式,这样就创建了Customer和Customer\u CompanyAddress表。

Customer模式也有一个字段"\u audit",企业云服务器,大数据运维,但这只是一个子记录。因此,电力物联网,企业系统开发,Customer表中包含了这个数据库的数据。但是这个子模式的"细节"字段是一个数组。其数据存储在Hana表"Customer\u audit\u details"中,

数组字段"\u extension"存在于Customer和CustomerAddress级别。一个表Customer\u扩展包含所有数据。列\u RECORD\u PATH、\u PARENT\u RECORD\u PATH和FIELD包含此记录在架构中存储的位置的信息。

如果向架构中添加新字段,则目标表将自动扩展。

如果Hana云像数据湖一样使用,则需要这种方法,所有数据都应存储在其中,不应丢失任何源信息。

此外,可以对每个表进行分区,并将分区分配给一个数据温度。

在上述示例中,数以百万计的客户和地址记录被不断使用,关于每个记录所经历的业务规则和转换的信息是以前的30倍,而且很少使用。这些表被分配到一个热存储——Hana云的数据湖存储级别。

剩下的一个问题是创建表时使用的数据类型。在Avro中,只有七种基本数据类型,甚至没有十进制作为基元存在。Avro支持逻辑数据类型来添加一些更像十进制的数据类型。但这远不是Hana所支持的。

当然,每个Avro数据类型都可以映射到默认的Hana数据类型,例如,一个无界字符串得到一个NVARCHAR(5000)列(因为nClob很慢)。最好使用适当的数据类型,如NVARCHAR(10)、VARCHAR(10)、VARBINARY(10)或NCLOB。因此,Hana加载程序需要来自模式的更多信息。

通过用确切的类型注释Kafka模式,这可以很容易地完成。

为了跟上Kafka,Hana加载程序必须使用数据库接口允许的所有性能技巧来实现。数据通过准备好的语句加载,并将同一个表上的多个更改批处理到单个请求中。这样就大大减少了网络往返次数,这是与云系统交互时的一个核心要求。

这篇文章是一系列文章的一部分,当它与其他组件结合时,它的全部能量将被解锁。

发表评论
验证码: 点击我更换图片

注:网友评论仅供其表达个人看法,并不代表本站立场。

热门文章

  • 云服务器价格_有显卡的云主机
    <strong>云服务器价格_有显卡的云主机</strong>

    云服务器价格_有显卡的云主机

    雪花数据仓库中的端到端加密2016年4月13日作者:马丁·亨切尔彼得·波维尼克云数据安全,工程作者:马丁·亨切尔和彼得·波维尼克。保护客户数据是雪花...

  • 云端主机_物联网智慧家居
    <strong>云端主机_物联网智慧家居</strong>

    云端主机_物联网智慧家居

    在云数据库服务的世界里,对客户来说,没有什么比不间断地访问他们的数据更重要的了。在在线游戏和金融服务等交易率较高的行业,即使是最小的中断...

  • 云存储的公司_智能电话机器人
    <strong>云存储的公司_智能电话机器人</strong>

    云存储的公司_智能电话机器人

    如今,企业被迫维护两种类型的分析系统:数据仓库和数据湖。数据仓库提供了有关业务健康状况的重要见解。数据湖可以发现客户、产品、员工和流程的...

  • 超级云计算_云主机怎么使用
    <strong>超级云计算_云主机怎么使用</strong>

    超级云计算_云主机怎么使用

    使用Azure的客户管理密钥进行数据加密2019年9月6日|3分钟读取作者:保卢斯雪花新闻,雪花科技2017年,雪花宣布使用AWS密钥管理服务(KMS)支持客户管理密...

  • 移动云存储_云计算的存储方式
    <strong>移动云存储_云计算的存储方式</strong>

    移动云存储_云计算的存储方式

    每年都有这么多新技术问世(比如Kubernetes或Habitation),我们很容易陷入对未来的兴奋之中,以至于我们忘记了对那些默默支持我们生产环境的工具的敬意...

云储存

更多 >
  • 域名解析_数据库的设计步骤_排行榜
    域名解析_数据库的设计步骤_排行榜

    考虑到最近努力维持工厂运转,制造商继续感受到供应链不稳定的影响。不断波动的需求正引发巨大的压力,要求快速调整生产设备、调整设计和创新新产...

  • 负载均衡_云主机云服务器_排行榜
    负载均衡_云主机云服务器_排行榜

    本文的主要内容是本文的第二幅图。是的,你可以只看那张图片而忽略文字。SA–CCR:交易对手信用风险敞口的标准化方法。 作为巴塞尔协议III的一部分,...

云储存分布式存储_mysql数据库指令_学生机
云储存服务器_阿里云压测_年度促销
云储存云存储_数据库的优化方法_优惠券
云储存企业邮箱_阿里云免费邮箱个人版_评分榜
云储存分布式存储_cdn和分布式_0元