主页 > 专属服务器 > > 正文

消息队列_蜜桃成熟时百度云资源_12月免费

浏览:

下面是我们在SAP TechEd 2018英特尔展台上演示的一个原型的总结。这是使用Intel Skylake CPU和机器学习(ML)来自动进行ETL(提取转换和加载)映射的。底部有一个演示视频。

通常情况下,这是一个团队工作,你可以在幻灯片上看到构建这个原型的人,包括SAP团队和Intel团队。我想表彰的主要贡献者是Nidhi Sawhney,Stojan Maleschlijski和John Santerre.

原型使用了以下组件

我们要解决的场景如下。

一家公司从其客户处接收各种不同格式的数据。接收到的单个数据文件可能包含各种格式和各种数据字段,甚至不同类型的事务。这使得他们无法使用传统的ETL方法。这些文件和格式确实发生了变化,但数据类型保持一致。

它们已经手动构建了规则,然后用于ETL映射。规则是在行(记录)级别保存的。对于每一条记录,他们都会知道。

然后我们想看看我们是否可以教一台机器执行相同的任务,企业软件平台,以及我们能达到什么样的精度水平。

如果你仔细观察下面相同的数据,你应该能够看到,在一个文件中,我们有许多需要在ETL过程中处理的问题。这些都不是不可克服的,但需要重要的逻辑和规则。

然后我们想教机器学习如何处理这些数据。我们将用以前标记的数据训练一个深度学习模型。这些模型将学习从事务字符串中理解模式。

首先我们确定事务的类型,通过从以前的事务中学习它。

其次,我们执行字段到列的识别。

为了训练ML模型,淘客pid,我们同时使用了数据的水平扫描和垂直扫描,这使得模型能够"看到"数据,从而识别不同类型的数据,与我们的做法大致相同。我们也使用Intel CPU,而不是GPU,并且配置正确(正确编译的MKL tensorflow python wheel和环境变量如下所示)

架构如下所示,模型培训和评分在SAP HANA之外执行,返利app下载,使用类似的Intel Skylake硬件。

我们使用的Intel硬件规格如下。

ML面临的一个挑战是使用带有GPU的专用硬件,然而,我们证明了这些并不总是必需的。

我制作了一个简短的视频,捕捉了机器学习原型的主要部分。

Python模型训练SAP分析云(SAC)中的模型评估使用SAP HANA智能数据集成(SDI)进行数据采集使用SAP HANA External Machine Learning(EML)对数据进行评分

首先使用Python对ML模型进行训练。

然后使用SAC对模型进行评估,返利优惠券,在这里我们可以看到一些实例,大数据教程,其中有非常多的数据,该模型确实表现得很好,因为它需要更多的数据。条形图表示每个字段的记录计数,行是模型准确度(F1得分)。

最后我们使用SAP HANA WebIDE通过SDI获取新数据,然后使用外部机器学习对这些数据进行得分。视频中捕获的模型是对交易(trade)类型进行分类。

发表评论
验证码: 点击我更换图片

注:网友评论仅供其表达个人看法,并不代表本站立场。

热门文章

  • 亚马逊云_海报cdn_优惠券
    <strong>亚马逊云_海报cdn_优惠券</strong>

    亚马逊云_海报cdn_优惠券

    消费者在哪里?这不是医疗保健领域的"捉迷藏"游戏,而是建立一个全面运转的医疗保健系统所需要的关键缺失要素。让消费者参与进来——作为一个消费...

  • 云解析_svn服务器安装_限时特惠
    <strong>云解析_svn服务器安装_限时特惠</strong>

    云解析_svn服务器安装_限时特惠

    集成/docker/梅索斯/marathonapachemesos是一个用于调度和管理分布式应用程序的开源集群管理器。Mesos几乎就像整个集群是一个单一的集群一样分配CPU和RAM等资源...

  • 云服务器_阿里云服务器账号_哪家好
    <strong>云服务器_阿里云服务器账号_哪家好</strong>

    云服务器_阿里云服务器账号_哪家好

    技术支持副总裁Aileen Wyer和高级系统管理员Maruf Rahman最近与我们坐下来讨论我们的合作伙伴关系如何帮助CAN Capital的遗留备份基础设施现代化,以简化数据管...

  • 消息队列_折枝by困倚危楼百度云_新注册优
    <strong>消息队列_折枝by困倚危楼百度云_新注册优</strong>

    消息队列_折枝by困倚危楼百度云_新注册优

    今天,两位前行业分析师(现在是Veeam高管)讨论了塑造数据保护行业和IT格局的趋势:Jason Buffington@JBuff,前ESG数据保护首席分析师Dave Russell@BackupDave,Ga...

  • 中间件_服务器能干什么_超低折扣
    <strong>中间件_服务器能干什么_超低折扣</strong>

    中间件_服务器能干什么_超低折扣

    Nathan Sielaff,World Vision的系统工程师,负责备份、存储等。他致力于创建一个灵活和敏捷的IT环境,这样组织就不必担心底层基础设施,可以将精力集中在任...

云储存

更多 >
  • <strong>亚马逊云_数据库分类_三重好礼</strong>
    亚马逊云_数据库分类_三重好礼

    业务规则一直是自动化决策或实现验证或定义复杂的监管或法规遵从性规则等的出色工具。随着从ABAP到云等平台的不断变化,该工具不断发展。随着最近的...

  • <strong>网站空间_app的服务器_怎么买</strong>
    网站空间_app的服务器_怎么买

    Vineet Hingrani和Robert Meusel 工业4.0背景下物联网的兴起为资产管理领域引入了许多新的可能性和用例。资产管理,在旧世界的背景下,是关于反应式维护和传...

云储存MySQL数据库_新疆建设网站_最新活动
云储存CDN_数据库下载_企业0元试用
云储存美国服务器_ae2017破解版百度云_高性价比
云储存MySQL数据库_京东云闪付下载_价格
云储存CDN_文件存储权限怎么打开_怎么买