Kettle是Pentaho的一个组件,主要用于数据库间的数据迁移,到我用过的4.2版,还不支持noSQL,不知道4.4是不是支持了。
Kettle自己有三个主要组件:Spoon,Kitchen,Pan。其中Spoon是一个图形化的界面,用于windows的时候,先设置环境变 量:pentaho_java_home,例如:C:\Program Files\Java\jdk1.7.0_25,其实就是你的java安装目录,1.6以上即可。windows下双击Spoon.bat就可以了,界面 如下:
这里我建立了资源库,其实可以用文件形式存储,存储的结构都是xml,但是我还是觉得建立一个资源库比较好,以后看job等情况也比较简单,因为数据表的可读性比xml要好得多。建立资源库和文件资源库只需要把右上角的小加号点一下,就会出现如下如的界面:
选择第一个就是建立数据库版的资源库,之后:
之后:
测试通过之后点击OK就回到最开始的界面,这时候选择test数据库连接,然后出入你的工程(我是这么叫的)ID和name,这里要记住,因为以后kitchen调度的时候要输入这个参数。
在接下来弹出的框中都点“是”,然后会出现这个界面:
这步会在你的用户下建立很多表,所以最好单独给资源库建立一个用户,当然这是在oracle下,mysql下和DB2下最好也采用同样的方式,把资源库和其他库分开。检查一下:
SQL> conn wings/wings@prism
已连接。
SQL> select count(1) from r_repository_log;
COUNT(1)
----------
0
SQL>
表已经建好了。回到最开始的界面,选择test,点击确定,然后就会出现登录对话框,用户密码默认都是admin,以后可以自己改。
接下来就可以开始用这个工具了。
其实对于简单的数据库数据的抽取,基本只需要转换和作业这两种东西。下面就是建立一个转换的步骤:
1 点击文件-->新建-->转换。
2 在左侧的树状列表中选“主对象树”,新建DB连接。步骤和上面建资源库一样。一个目标库一个源库。
3 在核心对象-->输入这个地方拖出一个表输入,在“输出”目录下拖出“表输出”,在“转换”处拖出一个字段选择来,如图:
每一个对象都可以双击修改属性,下面以抽取world数据库的city表为例。
双击表输入,选择数据库连接,选择源数据库,然后点击“获取SQL查询语句”,在弹出的对话框里进行选择即可,之后会变成这样:
下面点击表输出:
点击字段选择:
这样,一个简单的抽取数据的转换就完成了。执行之,点击上面的绿色开始按钮。
我也处在学习中,希望可以把我的经验分享给和我一样的入门者。
下面是补充部分:
在一个Job或者一个trans建立好之后,就可以建立定时任务了。如果是DS,那么DS客户端本身就支持schedule,但是Kettle因为没有服 务端和客户端的概念,因此只有使用linux的crontab,其实Job本身也支持定时,但是你必须保证图形界面一直开着,这样并不如crontab那 么好。在命令行里使用kettle很简单,Job用kitchen调度,trans用pan调度。
下面是一个kitchen的调度命令:
bash /home/kettle/data-integration/kitchen.sh /rep kettle_demo /user username /pass passwd /level Minimal /dir /dirname /job jobname
rep那里写自己的资源库名称。
trans和上面一样,略有不同:
bash /home/kettle/data-integration/pan.sh /rep kettle_demo /user username /pass passwd /level Minimal /dir /dirname /trans transname
http://www.cnblogs.com/wingsless/p/3187436.html
相关推荐
Kettle初探
Kettle初探.pdf Kettle命令行使用说明.pdf Kettle培训.ppt KETTLE基本知识培训.pptx kettle实现循环.pdf kettle常见问题FAQ.pdf kettle技术手册.pdf kettle接口抽取同步应用实例.pdf kettle文档.pdf ...
Kettle文档汇集,ELT平台操作手册-KETTLE,ETL工具Spoon 2.5.0用户手册,Kettle初探,KETTLE基本知识培训,Kettle命令行使用说明,Kettle的一些常见问题等文档
内容概要:ETL之kettle包含26张PPT,kettle安装、使用、如何连接等,使用PDI9.2演示、什么是ETL、什么是Kettle、kettle安装、kettle目录结构、转换和作业、kettle操作、数据库连接、注意事项。 适合人群:具备一定...
我自己编写的KETTLE6.1与KETTLE7.1版本之间的差距比较
本地简单kettle抽MySQL数据到ES中 案例.zip本地简单kettle抽MySQL数据到ES中 案例.zip 本地简单kettle抽MySQL数据到ES中 案例.zip本地简单kettle抽MySQL数据到ES中 案例.zip 本地简单kettle抽MySQL数据到ES中 案例....
这个kettle 的插件,它可以从一个或多个 PDF 文件中抽取文本内容,抽取后的文本一页作为一行记录,便于后续处理,如写入数据库等等。 帮助手册 http://www.xgndata.com/resources/kettle/PFR_UserGuide_zh_CN.pdf ...
kettle-core-7.1.0.0-12.jar kettle-dbdialog-7.1.0.0-12.jar kettle-engine-7.1.0.0-12.jar pentaho-metadata-7.1.0.0-12.jar
kettle7.1下载资源
适配了达梦数据库的kettle核心代码。
20210511_kettle抽取mysql增量到ES中.zip20210511_kettle抽取mysql增量到ES中.zip20210511_kettle抽取mysql增量到ES中.zip20210511_kettle抽取mysql增量到ES中.zip20210511_kettle抽取mysql增量到ES中.zip20210511_...
kettle - JOB循环 , 用于kettle失败后重试 ! 具体内容请下载查看!这里不多做解析 ! kettle - JOB循环 , 用于kettle失败后重试 ! 具体内容请下载查看!这里不多做解析 !
kettle管理工具专门为kettle这款优秀的ETL工具开发的web端管理工具。项目简介kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题是当投入生产环境使用时,动辄上百...
kettle 9.2 各版本 drivers
kettle设置循环变量,控制循环作业;kettle设置循环变量,控制循环作业.
kettle相关jar包,kettle相关jar包,kettle相关jar包kettle相关jar包kettle相关jar包kettle相关jar包kettle相关jar包kettle相关jar包
kettle使用事务的转换
kettle jar在官方或很多镜像仓库中都没有,需要手动下载。 本文提供了kettle 8.2相关的5个jar,进行kettle相关插件的开发完成够用了。 如下为本kettle压缩包包含的文件: kettle-core-8.2.0.0-342.jar kettle-dbdialog...
8.3.0.0-371 pentaho-kettle kettle-core
springboot项目整合kettle项目源码,为各位开发提供一个完整的项目代码参考。 java整合kettle项目源码。