主页 > 专属服务器 > > 正文

轻量服务器_阿里云大学生_12月免费

来源:胜利云 发布时间:2022-06-04 14:10 标签:服务器免费12月阿里大学生轻量
浏览:

轻量服务器_阿里云大学生_12月免费

我们有一个中文版本(SAP HANA Smart Data Access(三)--如何据(SDA通过Hive访问Hadoop数据)的博客

在本系列之前的博客中,我们讨论了如何在SAP HANA服务器端安装和配置SDA的数据源。由于SAP-HANA支持的大多数数据源都是数据库,因此安装和配置过程类似。但对于Hadoop数据源来说,情况有所不同。Hadoop作为一个分布式数据处理平台,通常将数据存储在HDFS文件系统中,或者存储在NoSQL数据库HBase中,后者也通常基于HDFS。然而,HDFS和HBase都不支持ODBC协议。所以我们需要Hadoop家族的另一个成员来解决这个问题,那就是Hive。Hive实现了HDFS和HBase的SQL接口,物联网大会,并提供了HiveODBC驱动程序。在这个博客中,我们将讨论SDA如何通过Hive访问Hadoop数据。

SAP HANA SDA支持的Hadoop官方版本是"Intel Distribution for Apache Hadoop version 2.3"(包括Apache Hadoop version 1.0.3和Apache Hive 0.9.0)。虽然官方支持的版本列表中只有一个版本,但本博客的实验表明,SDA也可以访问普通Apache版本Hadoop中存储的数据。本博客的实验构建了一个包含3个节点的Hadoop集群,淘客平台,Hadoop和Hive的版本是:ApacheHadoop1.1.1和ApacheHive0.12.0.

由于在internet上很容易找到部署Hadoop和Hive的指南,所以这里不讨论。在部署Hadoop和Hive之后,需要准备一些实验数据。这里,我们使用一个用户信息表,该表的结构是:

数据可以从csv文件导入到hive表中。首先使用hive shell创建一个表,

创建表用户(USERID string,GENDER string,AGE int,PROFESSION string,SALARY int)

行格式分隔

以'\t'结尾的字段;

然后从csv文件导入数据到用户表:

load data local inpath'/input/file/path'

覆盖到表用户中;

这里导入数据从本地文件系统,Hive还可以从HDFS导入数据。在这个实验中,users表中的记录数是1000000。导入后统计记录数:

如上图所示,Hive调用MapReduce查询数据,统计用户表记录数需要14.6秒。然后,选择表中前10条记录:

如我们所见,需要0.1秒。

与安装其他数据源的驱动程序一样,安装HiveODBC驱动程序也需要在SAP HANA服务器端安装unixODBC。HiveODBC需要unixODBC-2.3.1或更新版本。有关安装unixODBX的详细信息,请参阅参考文献[2]。

安装unixODBC,开始安装HiveODBC驱动程序。正如参考文献[2]中介绍的,我们使用Simba Technologies提供的HiveODBC。安装过程如下:

[hive1]

Driver=//simba/hiveodbc/lib/64/libsimbahiveodbc64.so

Host=

Port=10000

10。编辑文件$HOME/。客户.sh设置一些环境变量:

export LD\u LIBRARY\u PATH=$LD\u LIBRARY\u PATH:

//simba/hiveodbc/lib/64/

export ODBCINI=$HOME/。odbc.ini文件

11. 使用isql检查SAP HANA服务器是否能成功连接到远程数据源:

isql–v hive1

12。如果连接成功,则执行"HDB start"启动SAP HANA。

安装和配置HiveODBC完成后,按照参考文献[1]中介绍的步骤在SAP HANA Studio中创建配置单元数据源。这里,您需要选择HIVEODBC作为适配器,德国云服务器,

创建hive数据源后,您可以查看hive中的表,如下图所示:

按照参考文献[1]中介绍的步骤添加一个新的虚拟表,映射到hive中的表用户。然后计算虚拟表的记录数:

如上所示,在SAP HANA Studio中计算虚拟表需要14.1秒,这与在Hive端花费的时间非常接近。结果表明,SAP-HANA-SDA在数据传输较少的情况下,风控大数据,不会影响远程数据源的操作性能。

在本博客中,服务器租用,我们用一个简单的例子说明SAP-HANA-SDA如何访问Hadoop中存储的Hive表。Hive是一个为Hadoop提供SQL接口的工具。从实验结果来看,在SAP HANA Studio中查询虚拟表和在Hive端查询Hive表在数据传输较少的情况下,性能非常接近。

你好,Leo,

我们使用的是SAP HANA SPS 10,使用spark controller连接Hadoop。

我们能够成功连接到Hadoop系统。但是在创建虚拟表之后,我们无法看到内容。我们收到以下错误。

无法从"HDPUSER""spark\u demo\u products""SAP DBTech JDBC:[403]:内部错误:打开远程数据库的光标查询"SELECT""spark\u demo\u products""productid"时出错,

请告诉我们访问虚拟表缺少什么。

发表评论
验证码: 点击我更换图片

注:网友评论仅供其表达个人看法,并不代表本站立场。

热门文章

  • 亚马逊云_海报cdn_优惠券
    <strong>亚马逊云_海报cdn_优惠券</strong>

    亚马逊云_海报cdn_优惠券

    消费者在哪里?这不是医疗保健领域的"捉迷藏"游戏,而是建立一个全面运转的医疗保健系统所需要的关键缺失要素。让消费者参与进来——作为一个消费...

  • 云解析_svn服务器安装_限时特惠
    <strong>云解析_svn服务器安装_限时特惠</strong>

    云解析_svn服务器安装_限时特惠

    集成/docker/梅索斯/marathonapachemesos是一个用于调度和管理分布式应用程序的开源集群管理器。Mesos几乎就像整个集群是一个单一的集群一样分配CPU和RAM等资源...

  • 云服务器_阿里云服务器账号_哪家好
    <strong>云服务器_阿里云服务器账号_哪家好</strong>

    云服务器_阿里云服务器账号_哪家好

    技术支持副总裁Aileen Wyer和高级系统管理员Maruf Rahman最近与我们坐下来讨论我们的合作伙伴关系如何帮助CAN Capital的遗留备份基础设施现代化,以简化数据管...

  • 消息队列_折枝by困倚危楼百度云_新注册优
    <strong>消息队列_折枝by困倚危楼百度云_新注册优</strong>

    消息队列_折枝by困倚危楼百度云_新注册优

    今天,两位前行业分析师(现在是Veeam高管)讨论了塑造数据保护行业和IT格局的趋势:Jason Buffington@JBuff,前ESG数据保护首席分析师Dave Russell@BackupDave,Ga...

  • 中间件_服务器能干什么_超低折扣
    <strong>中间件_服务器能干什么_超低折扣</strong>

    中间件_服务器能干什么_超低折扣

    Nathan Sielaff,World Vision的系统工程师,负责备份、存储等。他致力于创建一个灵活和敏捷的IT环境,这样组织就不必担心底层基础设施,可以将精力集中在任...

云储存

更多 >
  • <strong>云数据库_美国企业邮箱_高性价比</strong>
    云数据库_美国企业邮箱_高性价比

    对于SAPPHIRE NOW 2014奥兰多来说是新的—SAP服务"发射台"提供了释放SAP力量的"方法" 我将第一个承认这一点—作为一个在60年代和70年代长大的孩子,我一直想...

  • <strong>虚拟主机_多玩永恒之塔数据库_试用</strong>
    虚拟主机_多玩永恒之塔数据库_试用

    上周,学生创业训练营于2014年12月22日至24日在沃尔多夫举行。本次训练营由SAP和Innowerft合作组织,旨在为初创企业提供机会,为他们的想法开发商业模式,...

云储存亚马逊云_oracle数据库审计_速度快
云储存微软云_盐城市城乡建设局网站_三重好礼
云储存中间件_企业网站价格_免费领
云储存云主机_中国学术期刊数据库_免费1年
云储存美国服务器_广州凶宅数据库_哪个好