我们在前面介绍的实战篇章中,基本都是在Spoon的图形化界面中点击运行按钮时来运行我们的作业或者转换的,但是Kettle也为我们提供了基于命令行的调用方式,基于命令行的方式可以方便我们通过Shell脚本或者Windows的Bat脚本来对作业&转换进行调用,这方便我们配置作业&转换的任务调度
我们可以在类似Unix平台上使用crontab服务来调用我们的Kettle作业&转换,在Windows平台也可以编写bat脚本添加任务计划进行有规律的调用,这对ETL的自动化处理是非常方便的.
本章就详细的介绍Kettle为我们提供的命令行工具
命令行工具介绍
在我们下载的Kettle目录下,我们可以看到存在几个bat或者sh文件,主要包含：
- Pan:执行转换的命令行工具
- Kitchen:执行作业的命令行工具
- Encr：加密工具
- import: 备份和还原资源库命令工具
- Spoon：Kettle的Spoon图形化启动命令
- runSample：执行Kettle为我们提供的转换示例
- Carte：Kettle提供的基于Jetty的简单作业服务器,主要用于Kettle集群，不同于
Kitchen命令的是,该服务是后台一直运行的
转换执行工具(Pan)
在Windows平台执行Pan.bat文件,如果是在类似Unix环境下需要执行pan.sh文件
关于Pan工具我们如果不知道输入参数的话,可以直接运行,此时Kettle会为我们打印出来相关的参数介绍信息
Options:
/rep : 资源库名称
/user : 资源库用户名
/trustuser : 资源库用户名
/pass : 资源库密码
/trans : 要启动的转换名称
/dir : 目录(不要忘了前缀 /)
/file : 要启动的文件名(转换所在的 XML 文件)
/level : 日志等级 (Basic,Detailed,Debug,Rowlevel,Error,Minimal,Nothing)
/logfile : 要写入的日志文件
/listdir : 列出资源库里的目录
/listtrans : 列出指定目录下的转换
/listrep : 列出可用资源库
/exprep : 将资源库里的所有对象导出到 XML 文件中
/norep : 不要将日志写到资源库中
/safemode : 安全模式下运行: 有额外的检查
/version : 显示版本,校订和构建日期
/param : Set a named parameter <NAME>=<VALUE>. For example -param:FOO=bar
/listparam : List information concerning the defined named parameters in the specified transformation.
/metrics : Gather metrics during execution
/maxloglines : The maximum number of log lines that are kept internally by Kettle. Set to 0 to keep all rows (default)
/maxlogtimeout : The maximum age (in minutes) of a log line while being kept internally by Kettle. Set to 0 to keep all rows indefinitely (default)
如果我们的转换是另存为XML文件存在在本地磁盘上的,我们可以通过pan这样来调用(Windows平台)
Pan.bat -file=test.ktr -logfile=test.log -level=RowLevel
作业执行工具(Kitchen)
作业执行工具和转换差不多,可以直接运行Kitchen.bat来查看输入参数,参数如下：
Options:
/rep : 资源库名称
/user : 资源库用户名
/trustuser : 资源库用户名
/pass : 资源库密码
/job : 资源库中的作业名称
/dir : 资源库中的作业目录
/file : 本地作业XML文件路径
/level : 日志级别(Basic,Detailed,Debug,Rowlevel,Error,Minimal,Nothing)
/logfile : 日志文件
/listdir : 列出当前资源库中的所有目录
/listjobs : 列出指定目录下的所有子夜
/listrep : 列出可用的资源库
/norep : 不要将日志写到资源库中
/version : 显示版本号
/param : Set a named parameter <NAME>=<VALUE>. For example -param:FILE=customers.csv
/listparam : List information concerning the defined parameters in the specified job.
/export : Exports all linked resources of the specified job. The argument is the name of a ZIP file.
/custom : Set a custom plugin specific option as a String value in the job using <NAME>=<Value>, for example: -custom:COLOR=Red
/maxloglines : The maximum number of log lines that are kept internally by Kettle. Set to 0 to keep all rows (default)
/maxlogtimeout : The maximum age (in minutes) of a log line while being kept internally by Kettle. Set to 0 to keep all rows indefinitely (default)
如果我们的作业文件是存在磁盘则可以这样调用(Windows平台)
Kitchen.bat -file=F:\公共技术\kettle\任务调度系统同步ES日志作业.kjb -logfile=F:\公共技术\kettle\mySqlToES.log -level=Rowlevel
作业服务器(Carte)
Usage: Carte <Interface address> <Port> [-h] [-p <arg>] [-s] [-u <arg>]
or
Usage: Carte <Configuration File>
Starts or stops the carte server.
-h,--help This help text
-p,--password <arg> The administrator password. Required only if
stopping the Carte server.
-s,--stop Stop the running carte server. This is only
allowed when using the hostname/port form of the
command.
-u,--userName <arg> The administrator user name. Required only if
stopping the Carte server.
Example: Carte 127.0.0.1 8080
Example: Carte 192.168.1.221 8081
Example: Carte /foo/bar/carte-config.xml
Example: Carte http://www.example.com/carte-config.xml
Example: Carte 127.0.0.1 8080 -s -u cluster -p cluster
通过命令行调用帮助可以查看，Carte -h
加密工具(Encr)
加密工具,我们在生产服务器部署时可以用到此工具,针对数据库密码等敏感信息进行加密处理
定义：
encr <-kettle|-carte> <password>
Options:
-kettle: generate an obfuscated password to include in Kettle XML files
-carte : generate an obfuscated password to include in the carte password file 'pwd/kettle.pwd'
主要分为kettle和carte两种不同类型的密码处理
kettle是我们在XML文件中使用的
carte主要用于作用于作业服务器中
使用方法
Encr.bat -kettle 123456
最终生成字符串Encrypted 2be98afc86aa7f2e4cb79ff228dc6fa8c
导入备份工具(import)
导入脚本是一个命令行实用程序，可将内容从单个.kjb或.ktr文件或完整存储库导出XML文件中提取到企业或数据库存储库中
您还必须声明一个规则文件，该文件定义要导入的数据集成内容的某些参数,们提供了一个名为import-rules.xml的示例文件，该文件包含在标准数据集成客户端工具分发中。它包含所有潜在规则，以及描述每个规则的作用的注释。您可以修改import-rules.xml文件或将其内容复制到另一个文件，然后将规则文件声明为命令行参数。
下表定义了导入脚本的命令行选项，这些选项是使用特定于操作系统类型的语法声明的:
-
Linux
使用短划线（ - ）后跟选项名称，然后是等号（=）和值（如果适用）声明选项。例如：
-option = value -
Windows
使用正斜杠（/）后跟选项名称，然后使用冒号（:)和值（如果适用）声明选项。例如：
/ option：value
注意：对于不需要输入值（替换，系数和版本）的选项，选项后面的破折号或斜线（取决于您的操作系统）相当于选择“是”;否则，该选项被忽略。
| 选项 | 说明 |
|---|---|
| rep | 要导入的企业或数据库存储库的名称。 |
| user | 企业或数据库访问用户名 |
| pass | 密码 |
| dir | 存储库中要将内容复制到的目录。 |
| limitdir | 可选的。要包含的逗号分隔源目录列表（不包括未显式声明的那些目录）。 |
| file | 要从中导入的存储库导出文件的路径 |
| rules | 如上所述，规则文件的路径 |
| comment | 将为导入的转换和作业的新修订设置的注释。 |
| replace | 替换存储库中的现有转换和作业。 （默认为：No） |
| coe | 发生错误时继续运行,忽略错误(默认：No) |
| version | 显示导入脚本与之接口的PDI实例的版本，修订版和构建日期。 （默认为：No） |
- Linux
Import.sh -rep= Archive71 -user=admin -pass=password -coe -replace -dir=/home/admin -file= /Downloads/imagitasDemoEnclosure.ktr -rules=/Downloads/import-rules.xml -comment="New version upload from UAT"
- Windows
Import.bat /rep:Archive71 /user:admin /pass:password /coe /replace /dir:\home\admin /file:C:\Downloads\imagitasDemoEnclosure.ktr /rules:C:\Downloads\import-rules.xml /comment:"New version upload from UAT"
