我们在前面的实战博客中,都是将我们的作业和转换文件保存在磁盘中,这在小规模的使用中是没有问题的,可是当我们的ETL工程越来越庞大时,一个团队需要更多的ETL工程师来开发ETL的过程时,单人作战就很不合适了,这就和我们开发人员写代码一样,多人协作时需要一个代码的协作平台(GIT、SVN等)来帮助我们管理代码版本，合并代码等操作

因此,当我们的ETL工程初具规模时,团队协作配合开发ETL时就需要Kettle为我们提供的资源库功能,资源库主要的特点：

• 中心化：我们所有的转换、作业、调度等信息都保存在远程中心库上,可以远程更新、保存等,便于协作
• 版本机制：提供完整的版本信息、记录ETL的操作信息,可以回溯版本
• 安全性：文件保存在中央仓库,需要有数据权限的人才能更改ETL过程

另外一个比较方便的是我们在操作关系型数据库连接的同时,如果是使用资源库的方式进行保存的话,该资源库下所有的数据库都是引用关系,不需要重新建立DB连接操作,这很大程度上提高了工作效率.

Kettle为我们提供的资源库主要有三种类型：

• 数据库资源库：我们所有的作业、转换等ETL信息都保存在数据库中
• Pentaho资源库：Pentaho资源库的一个插件,在Kettle的企业版本中有这个插件
• 文件资源库：文件资源库是在一个文件目录下定义一个资源库

我们使用数据库资源库这一类型作为我们的中央资源库,这种方式更加方便

初始化连接

那么我们应该如何使用资源库呢?

首先我们运行Spoon图形化程序时,在界面的右上角,我们会看到Connect这一工具栏,该工具栏代表的就是我们需要连接的中央资源库

此时,我们点击Connect,选择Repository Manager按钮,我们进行添加操作

选择数据库类型的资源库,然后点击Get Started按钮,接下来会让我们输入资源库的名称,选择数据库连接操作(如果没有则新建)

我使用的是Mysql数据库作为我的资源库,建立好连接,点击Finish完成,点击后,我们的数据库因为是一个空库,在此时Kettle会我们创建好相关的表结构、初始化表数据信息.

Kettle初始化完成后,在8.3版本中的资源库表结构如下图：

初始化完成后,我们就可以连接我们创建好的资源库了。点击Connect Now

输入用户名和密码,这里Kettle会为我们初始化两个用户：

• admin：管理员用户,用户名和密码均是admin
• guest:guest用户,用户名和密码军事guest

在数据库中的r_user表中

如果要修改密码的话,我们可以使用Kettle为我们提供的加密工具Encr.bat来完成加密,首先通过命令行

Encr.bat yourPassword

生成密文,然后在数据库查询面板通过update语句来更新密码即可

udpate r_user set password='pass' where ID_USER=1;

最后,连接成功后,右上角的工具类会显示用户名

接下来,新建转换、作业等信息都会保存在我们的资源库中

异常情况

有时候会出现连接不上资源库的情况,或者干脆右上角的Connect工具栏都消失了,碰到这种情况时,解决办事有两种

重启

关掉我们的Spoon程序,重新运行

清除重建

我们在本机操作保存的资源库名称链接信息,Kettle全部保存在我们的${USER_HOME}/.kettle/目录下

主要在文件repositories.xml中

保存结构如下：

Connect如果是消失的情况下有可能是该文件信息中存在乱码的情况,清除乱码即可

或者将该文件的所有connection节点信息全部删除,再运行Spoon程序时,重新建立资源库的连接即可.