kettle使用java编写的是什么工具
有没有扩展性较好的ETL产品?
有没有扩展性较好的ETL产品?
ETL的过程我想很多人都谈过了,最近我在比较SSIS,OWB和infomatica,结合以前的项目,加深了我对ETL过程的理解和认识。
其实这三种工具,除去应用平台以为,大同小异,各有利弊。今天我想分享一下我的经验,主要在扩展和维护方面。
1:数据落地和ELT
?? 很多人谈到数据落地的概念,说白了,就是ODS或者DWH中,有数据input或者output的,都先把要操作的数据放到临时表里面,而数据传输的两端的表的结构都是一样的,这样的操作比较便捷,几乎不用考虑转换的问题。
?? 同时我们还要提到的就是ELT,ELT和ETL其实各有好处,一个是用工具来转化数据,一个用SP,工具一般都是一行行的处理,而SP一般都是一列列的处理。我个人认为ELT,用SP处理数据比较好,因为我们的测试或者将来的维护,都需要经常改变表间的mapping关系。而SP只是需要在数据库里面做一些修改和操作,而且还比较容易调试,去发现问题的根源。
2:脚本文件
?? 这里的脚本文件可以分为FTP script,table Script,Stored proc Script还有Shell脚本,不管是dos shell 还是unix shell,这些都是一些操作系统的控制文件,我们可以暂时不谈。为什么要谈谈这些脚本了,其实我们在设计和开发结构的时候很简单,但是我们修改的时候,就比较麻烦了,特别是ETL工具在打开一个package的时候,需要加载和验证,有的时候很慢很慢,如果我们只是修改一些小参数的话,花长时间就不值得,如果我们将脚本文件都放在一起的话,那么打开txt或者bat文件就很方便。还有就是我们对于一些临时表,有的时候需要将数据全部删掉,我们可以用 truncate table,有的时候用drop和create也是不错的选择。
?? 当然,如果用脚本文件的话,主机的安全性一定要好,而且对于账号的表级操作权限也要分配好。
3. 策略表
?? 我们按照不同的频率,定时执行package,有的时候可能遇到error,有的时候可能由于其他的问题不能按时执行。其实我们可以做一张策略表,存储每个package的执行的时间规则,然后每天开始执行前,将所有的package初始化出当天的执行情况,记录开始结束时间,还有成功标记。执行时,可以先读取上一个执行日的执行情况,将未完成的package,延续的到当日。
想买咖啡粉,什么品牌最好?
虽然咖啡粉确实比不了咖啡豆现磨,但不代表咖啡粉煮出来的咖啡不好喝。在郊外的时候,,挂耳咖啡也是很好喝的。咖啡粉的便利性,有些家庭也不用备一台磨豆机。。所以市场有咖啡粉的存在,肯定有存在的理由。。
这里给你推荐两个进口品牌。
1、LAVAZZA拉瓦萨
第一款:ORO欧罗金咖啡粉
第二款:经典浓醇咖啡粉
欧罗金比较有果酸,香气适中。经典浓醇是各方面都平衡,口感比较浓厚,不经常喝咖啡的人会觉得苦。这款做冰咖啡也不会觉得淡!
2、illy 意利
illy单品咖啡粉(埃塞俄比亚)
illy拼配阿拉比卡咖啡粉
这两款都是中度烘焙,埃塞俄比亚那款比较突出果味,另一款拼配的,口味平衡。此外该品牌的巴西口味也不错!
咖啡粉建议打开后尽快喝完,打开后注意密封性!
首先单品咖啡豆最好磨成粉后半个小时内冲泡可以最大限度保证咖啡的香气;意式咖啡豆都是拼配的,大多咖啡粉都是这一类,比较有名的是拉瓦萨LAVAZZA,illy等。如果有可能还是现磨!
好的咖啡有很多,不能说哪个品种就完全比别的好,但是确实阿拉比卡豆拥有七成的市场占有率,是大多数人喜欢的咖啡豆品种。我也是它的爱好者,这阵子经常去luckin coffee喝,他们都选用世界四大产地的上等阿拉比卡豆新鲜烘焙,还有冠军咖啡师拼配,那口感喝过一次就忘不了。
仁者见仁,智者见智,但要轮排名的话完全可以到baidu一搜会有很多说法,关键还是在于用法;
咖啡豆研磨成咖啡粉以后,它的表面积是以指数形式增加的,与空气接触的面积增加了成百上千倍。要知道由咖啡粉与热开水接触开始,咖啡的味道便开始被抽取,直至咖啡粉全部被浸透而最后到饮用便是完成一个过程;
1、Illy咖啡粉 2、Cafetown咖啡粉 3、柯林咖啡粉 4、雀巢咖啡粉 5、星巴克咖啡粉 6、麦斯威尔咖啡粉 7、拉瓦萨咖啡粉 8、中原咖啡粉 9、极睿咖啡粉 10、UCC咖啡粉