Apache Drill学习
–>
简介
Apache Drill is a low latency distributed query engine for large-scale datasets, including structured and semi-structured/nested
data.
官网:http://drill.apache.org/
Apache Drill的用途:Drill是SQL查询引擎,可以构建在几乎所有的NoSQL数据库或文件系统(如:Hive, HDFS, mongo db, Amazon S3等)上,用来加速查询,比如,我们所熟知的Hive,用于在hdfs进行类SQL查询,但是利用Hive的速度比较慢,因此可以利用Drill一类的查询引擎加速查询,用于分布式大数据的实时查询等场景。
架构
drill 通过 Storage plugin interface 即插件的形式实现在不同的数据源上构建查询引擎。
安装,分为嵌入模式与分布模式。
这里介绍linux下嵌入模式的安装:
嵌入模式无需做相关配置,较简便,首先要安装JDK 7;
进入到待安装目录,打开shell;
下载安装包,运行以下命令中其中一条:
wget http://getdrill.org/drill/download/apache-drill-1.1.0.tar.gz
或curl
-o apache-drill-1.1.0.tar.gz http://getdrill.org/drill/download/apache-drill-1.1.0.tar.gz
下载文件到待安装目录后(或下载后移动至安装目录);
解压缩安装包,执行命令tar -xvzf <.tar.gz file name>
解压缩后,进入目录,此处解压过后的目录为apache-drill-1.1.0,执行命令 bin/drill,如图
此时可能会报错,显示内存不足,这里可以在子目录conf中修改drill-env.sh文件中的默认内存分配设置即可,默认是4G,对于一般家用机器,必然会报错。
即启动嵌入模式drill。
上图中最后一行表明drill已启动,可以开始执行查询,最后一行命令提示符的含义为,0表示连接数,jdbc表示连接类型,zk=local表示使用ZooKeeper本地节点。
退出命令 !quit
drill web访问接口,在浏览器输入 http://<IP address or host name>:8047
即可,访问效果如图:
以上我们安装好了drill工具,但是并未将其与我们的特定数据源关联,以下我们进行相关配置,使其可以对具体数据执行查询。
1. 内存配置,如上,修改,在drill-env.sh中修改参数 XX:MaxDirectMemorySize 即可。
2. 配置多用户设置
3. 配置用户权限与角色
4. 。。。待续
连接数据源
dril连接数据源,通过存储插件形式,这样增加了灵活性,对于不同的数据源,通过插件实现多数据源的兼容,drill可以连接数据库,文件,分布式文件系统,hive metastore等。
可以通过三种方式指定配置存储插件配置:
(1) 通过查询中的FROM语句
(2) 在查询语句前使用USE命令
(3) 在启动drill时指定
Web配置方式
可以在 http://<IP address>:8047/storage 查看和配置存储插件,存在以下选项,
cp连接jar file
dfs连接本地文件系统或任何分布式文件系统,如hadoop,amazon s3等
hbase连接Hbase
hive连接hive metastore
mongo连接MongoDB
点击进入update选项,可以配置数据格式等选项,
可以输入存储插件名字创建新的存储插件,如图
dfs插件配置示例,如图
drill插件可配置属性介绍
Attribute | Example Values | Required | Description |
---|---|---|---|
“type” |
“file” “hbase” “hive” “mongo” |
yes | A valid storage plugin type name. |
“enabled” |
true false |
yes | State of the storage plugin. |
“connection” |
“classpath:///” “file:///” “mongodb://localhost:27017/” “hdfs://” |
implementation-dependent | The type of distributed file system, such as HDFS, Amazon S3, or files in your file system, and an address/path name. |
“workspaces” |
null “logs” |
no | One or more unique workspace names. If a workspace name is used more than once, only the last definition is effective. |
“workspaces”. . . “location” |
“location”: “/Users/johndoe/mydata” “location”: “/tmp” |
no | Full path to a directory on the file system. |
“workspaces”. . . “writable” |
true false |
no | One or more unique workspace names. If defined more than once, the last workspace name overrides the others. |
“workspaces”. . . “defaultInputFormat” |
null “parquet” “csv” “json” |
no | Format for reading data, regardless of extension. Default = “parquet” |
“formats” |
“psv” “csv” “tsv” “parquet” “json” “avro” “maprdb” * |
yes | One or more valid file formats for reading. Drill implicitly detects formats of some files based on extension or bits of data in the file; others require configuration. |
“formats” . . . “type” |
“text” “parquet” “json” “maprdb” * |
yes | Format type. You can define two formats, csv and psv, as type “Text”, but having different delimiters. |
formats . . . “extensions” | [“csv”] | format-dependent | File name extensions that Drill can read. |
“formats” . . . “delimiter” |
“\t” “,” |
format-dependent | Sequence of one or more characters that serve as a record separator in a delimited text file, such as CSV. Use a 4-digit hex code syntax \uXXXX for a non-printable delimiter. |
“formats” . . . “quote” | “”” | no | A single character that starts/ends a value in a delimited text file. |
“formats” . . . “escape” | “`” | no | A single character that escapes a quotation mark inside a value. |
“formats” . . . “comment” | “#” | no | The line decoration that starts a comment line in the delimited text file. |
“formats” . . . “skipFirstLine” | true | no | To include or omit the header when reading a delimited text file. Set to true to avoid reading headers as data. |
也可以通过Drill Rest API进行插件配置,使用POST方式传递名字和配置两个属性,例如
curl -X POST -/json" -d '{"name":"myplugin", "config": {"type": "file", "enabled": false, "connection": "file:///", "workspaces": { "root": { "location": "/", "writable": false, "defaultInputFormat": null}}, "formats": null}}' https://localhost:8047/storage/myplugin.json
上面命令创建一个名为myplugin的插件,用于查询本地文件系统根目录的未知文件类型。
介绍连接hive的配置,首先确保hive metastore服务启动,hive.metastore.uris
: hive
--service metastore
进入Drill Web接口,进入Store选项卡, http://<IP address>:8047/storage
点击hive旁的update选项,进行配置,如图
进入配置界面,在默认内容上添加如下,
简介
Apache Drill is a low latency distributed query engine for large-scale datasets, including structured and semi-structured/nested
data.
官网:http://drill.apache.org/
Apache Drill的用途:Drill是SQL查询引擎,可以构建在几乎所有的NoSQL数据库或文件系统(如:Hive, HDFS, mongo db, Amazon S3等)上,用来加速查询,比如,我们所熟知的Hive,用于在hdfs进行类SQL查询,但是利用Hive的速度比较慢,因此可以利用Drill一类的查询引擎加速查询,用于分布式大数据的实时查询等场景。
架构
drill 通过 Storage plugin interface 即插件的形式实现在不同的数据源上构建查询引擎。
安装,分为嵌入模式与分布模式。
这里介绍linux下嵌入模式的安装:
嵌入模式无需做相关配置,较简便,首先要安装JDK 7;
进入到待安装目录,打开shell;
下载安装包,运行以下命令中其中一条:
wget http://getdrill.org/drill/download/apache-drill-1.1.0.tar.gz
或curl
-o apache-drill-1.1.0.tar.gz http://getdrill.org/drill/download/apache-drill-1.1.0.tar.gz
下载文件到待安装目录后(或下载后移动至安装目录);
解压缩安装包,执行命令tar -xvzf <.tar.gz file name>
解压缩后,进入目录,此处解压过后的目录为apache-drill-1.1.0,执行命令 bin/drill,如图
此时可能会报错,显示内存不足,这里可以在子目录conf中修改drill-env.sh文件中的默认内存分配设置即可,默认是4G,对于一般家用机器,必然会报错。
即启动嵌入模式drill。
上图中最后一行表明drill已启动,可以开始执行查询,最后一行命令提示符的含义为,0表示连接数,jdbc表示连接类型,zk=local表示使用ZooKeeper本地节点。
退出命令 !quit
drill web访问接口,在浏览器输入 http://<IP address or host name>:8047
即可,访问效果如图:
以上我们安装好了drill工具,但是并未将其与我们的特定数据源关联,以下我们进行相关配置,使其可以对具体数据执行查询。
1. 内存配置,如上,修改,在drill-env.sh中修改参数 XX:MaxDirectMemorySize 即可。
2. 配置多用户设置
3. 配置用户权限与角色
4. 。。。待续
连接数据源
dril连接数据源,通过存储插件形式,这样增加了灵活性,对于不同的数据源,通过插件实现多数据源的兼容,drill可以连接数据库,文件,分布式文件系统,hive metastore等。
可以通过三种方式指定配置存储插件配置:
(1) 通过查询中的FROM语句
(2) 在查询语句前使用USE命令
(3) 在启动drill时指定
Web配置方式
可以在 http://<IP address>:8047/storage 查看和配置存储插件,存在以下选项,
cp连接jar file
dfs连接本地文件系统或任何分布式文件系统,如hadoop,amazon s3等
hbase连接Hbase
hive连接hive metastore
mongo连接MongoDB
点击进入update选项,可以配置数据格式等选项,
可以输入存储插件名字创建新的存储插件,如图
dfs插件配置示例,如图
drill插件可配置属性介绍
Attribute | Example Values | Required | Description |
---|---|---|---|
“type” |
“file” “hbase” “hive” “mongo” |
yes | A valid storage plugin type name. |
“enabled” |
true false |
yes | State of the storage plugin. |
“connection” |
“classpath:///” “file:///” “mongodb://localhost:27017/” “hdfs://” |
implementation-dependent | The type of distributed file system, such as HDFS, Amazon S3, or files in your file system, and an address/path name. |
“workspaces” |
null “logs” |
no | One or more unique workspace names. If a workspace name is used more than once, only the last definition is effective. |
“workspaces”. . . “location” |
“location”: “/Users/johndoe/mydata” “location”: “/tmp” |
no | Full path to a directory on the file system. |
“workspaces”. . . “writable” |
true false |
no | One or more unique workspace names. If defined more than once, the last workspace name overrides the others. |
“workspaces”. . . “defaultInputFormat” |
null “parquet” “csv” “json” |
no | Format for reading data, regardless of extension. Default = “parquet” |
“formats” |
“psv” “csv” “tsv” “parquet” “json” “avro” “maprdb” * |
yes | One or more valid file formats for reading. Drill implicitly detects formats of some files based on extension or bits of data in the file; others require configuration. |
“formats” . . . “type” |
“text” “parquet” “json” “maprdb” * |
yes | Format type. You can define two formats, csv and psv, as type “Text”, but having different delimiters. |
formats . . . “extensions” | [“csv”] | format-dependent | File name extensions that Drill can read. |
“formats” . . . “delimiter” |
“\t” “,” |
format-dependent | Sequence of one or more characters that serve as a record separator in a delimited text file, such as CSV. Use a 4-digit hex code syntax \uXXXX for a non-printable delimiter. |
“formats” . . . “quote” | “”” | no | A single character that starts/ends a value in a delimited text file. |
“formats” . . . “escape” | “`” | no | A single character that escapes a quotation mark inside a value. |
“formats” . . . “comment” | “#” | no | The line decoration that starts a comment line in the delimited text file. |
“formats” . . . “skipFirstLine” | true | no | To include or omit the header when reading a delimited text file. Set to true to avoid reading headers as data. |
也可以通过Drill Rest API进行插件配置,使用POST方式传递名字和配置两个属性,例如
curl -X POST -/json" -d '{"name":"myplugin", "config": {"type": "file", "enabled": false, "connection": "file:///", "workspaces": { "root": { "location": "/", "writable": false, "defaultInputFormat": null}}, "formats": null}}' https://localhost:8047/storage/myplugin.json
上面命令创建一个名为myplugin的插件,用于查询本地文件系统根目录的未知文件类型。
介绍连接hive的配置,首先确保hive metastore服务启动,hive.metastore.uris
: hive
--service metastore
进入Drill Web接口,进入Store选项卡, http://<IP address>:8047/storage
点击hive旁的update选项,进行配置,如图
进入配置界面,在默认内容上添加如下,
本文来源 互联网收集,文章内容系作者个人观点,不代表 本站 对观点赞同或支持。如需转载,请注明文章来源,如您发现有涉嫌抄袭侵权的内容,请联系本站核实处理。