任伟朋
- 技术能力:
- 工作态度:
- 工作成果:
项目意向
910元
全程集中
-
工作经验:
擅长技能:
JAVA、Shell
平台工作经历
其他工作经历
公司名称
北京市吉贝克信息技术有限公司
在职时间
2011-12-01 ~ 2019-01-01
职位名称
ETL工程师
薪水
0/月
项目描述
软件/互联网开发/系统集成
个人职责
软件工程师职位级别: 高级职位(非管理类)职责和业绩: 1: 优化shell调度流程,编写cms系统的shell程序和对应的存储过程。
2: 解决落地文件出现中文字段截取的问题,并保证字符长度不变。
3: 编写cms和crm上线流程的文档。
4: 编写shell调度流程的异常处理及解决方案
使用技能
无
公司名称
北京市吉贝克信息技术有限公司
在职时间
2011-04-01 ~ 2011-12-01
职位名称
ETL数据工程师
薪水
0/月
项目描述
软件/互联网开发/系统集成
个人职责
软件工程师职位级别: 高级职位(非管理类)职责和业绩: 1: 熟悉泰达宏利基金公司的业务。
2: 根据mapping设计文档,开发ETL程序,例如: ODS层,EDW层,DDW层的ETL程序。
3: 对EDW层,DDW层单元测试。
主要解决的问题:
1: 指标算法的问题。因为客户没有提供详细的指标算法文档,需要在开发中自己发现问题,在于客户商量,进行修改程序。
2: 在做基金公司的数据仓库时,时间是个重要因素,在加工指标的时候,需要考虑工作日和非工作日;货币基金和非货币基金等因素。
使用技能
无
公司名称
中科软科技股份有限公司
在职时间
2010-04-01 ~ 2011-04-01
职位名称
BI工程师
薪水
0/月
项目描述
软件/互联网开发/系统集成
个人职责
软件工程师职位级别: 中级职位(两年以上工作经验)职责和业绩: 1: 对项目组组员进行PowerCenter8.6的培训。
2: 根据现有的数据模型和业务文档,熟悉人寿的业务知识,以及主要指标的算分。
3: 与客户一起谈再保的需求,并进行开发,核对数据等。
4: 解决mis系统出现的问题,例如: 某条数据没有进去的原因。
5: 根据客户提供的临时需求,进行临时查数,提数。
使用技能
无
公司名称
北京尚洋信德信息技术股份有限公司
在职时间
2009-06-01 ~ 2010-04-01
职位名称
ETL工程师
薪水
0/月
项目描述
软件/互联网开发/系统集成
个人职责
[数据仓库事业部]
软件工程师职位级别: 中级职位(两年以上工作经验)职责和业绩: 对mis系统进行维护,解决mis系统中数据差异的问题,具体:
1: 解决已决指标的存在的差异,其中已决接口规则和调整重开赔案程序。
2: 解决承保指标数据不一致的问题,修改承保接口规则和主题层的程序
3: 整理已决,承保,立案等指标的修改方案和补数方案。
4: 整理mis系统各指标的算法。
5: 每天手动核对各指标与报表是否存在差异,并提交测试报告
使用技能
无
公司名称
北京尚洋信德信息技术股份有限公司
在职时间
2009-03-01 ~ 2009-06-01
职位名称
ETL工程师
薪水
0/月
项目描述
软件/互联网开发/系统集成
个人职责
[数据仓库事业部]
保险类职位级别: 初级职位(两年以下工作经验)职责和业绩: 目名称: 恒安标准人寿数据平台
技术/工具: DB2 AS/400 PowerCenter8.5 PowerExchange8.5 BO_XI ERwin
项目描述:
恒安标准人寿的系统主要分: Life/Asia系统,NBR系统,SMS系统,数据仓库主要考虑基本保单、客户、营销员以及部分财务方面的信息。
在该项目中,主要解决的问题:
恒安标准的源系统,大部分表没有主键,没有时间戳,同事存在完全一样的数据,LA系统用的是As/400,客户要求进行实时抽取数据,对于以上的问题,我们采用PowerExchange进行处理,利用PowerCenter进行调度和监控。进行infor培训。
使用技能
无
公司名称
北京尚洋信德信息技术股份有限公司
在职时间
2008-12-01 ~ 2009-03-01
职位名称
ETL工程师
薪水
0/月
项目描述
软件/互联网开发/系统集成
个人职责
[数据仓库事业部]
软件工程师职位级别: 中级职位(两年以上工作经验)职责和业绩: 项目名称: PICC-财险保险
技术/工具: Informix Oracle Informatica8.6 Cognos
项目描述:
在PICC项目中,主要参与了财险经营分析模块,在此模块中,主要分承保,理赔,标的,批改
1: 对各业务库进行数据探查,主要针对主外键关联,代码表关联,日期字段,维度和指标
2: 设计mapping设计文档:
根据原有的存储过程,设计mapping文档。在设计mapping文档时,需要明确清洗规则,源表与码表的关联关系和各字段的数据类型。在开发ETL程序时,要考虑ETL程序的性能问题,尽可能加快加载数据的速度。
3: 单元测试
1>检查维度和指标的正确性
2>数据的缺失情况,日期的正确性
4: WorkFlow的设计:
1>按业务流程就行设计
按业务流程设计的workflow主要更具业务之间的关系,按照业务之间的先后,顺序加载数据。例如: DW层和DM之间的调度,DW层中如果吞吐量已经加载完数据,就会启动DM层的用到吞吐量的WorkFlow,而不会等DW层启动主题运行完以后,在启动DM层。
2>按设计架构就行设计
按照设计架构的先后顺序加载数据。例如: DM层和DW层之间的调度,DW层中的所有主题加载完数据以后,在启动DM层。
使用技能
无
公司名称
北京尚洋信德信息技术股份有限公司
在职时间
2007-11-01 ~ 2008-12-01
职位名称
ETL工程师
薪水
0/月
项目描述
软件/互联网开发/系统集成
个人职责
[数据仓库事业部]
软件工程师职位级别: 初级职位(两年以下工作经验)职责和业绩: 项目名称: 大连港综合业务信息平台
技术/工具: Oracle10 Informatica8.1 BO_XI Java Visio ERwin
项目描述: 在项目中,曾经参与过如下工作:
1: 对各业务系统进行数据探查,主要针对主外键关联,代码表关联,日期字段,维度和指标。
2: 根据各业务系统的表结构和业务需求文档,设计接口表结构,设计接口主要是为了尽可能降低仓库系统于原系统的耦合成都,源系统的变更尽可能少的影响仓库系统,降低一次ETL开发的复杂性
3: 根据模型和业务库的数据结构,按主题设计mapping,设计mapping时,需要明确清洗规则,字段的数据类型和源表与码表之间的关系
4: 根据mapping设计文档,开发ETL程序的开发,主要包括全量,增量和ETL2程序开发,开始ETL增量程序时,需要根据各业务系统的不同情况,设计抽取策略。例如: 吞吐量的增量抽取,清空目标表,在插入数据。计费的增量抽取,根据源系统提供的时间戳,进行抽取。在开发ETL程序时,要考虑ETL程序的性能问题,尽可能加快加载数据的速度。
5: 数据加载成功后,需要对数据进行单元测试, 单元测试主要测试指标的正确性,数据的缺失情况,维度的正确性等
6: WorkFlow的设计:
1>按业务流程就行设计
按业务流程设计的workflow主要更具业务之间的关系,按照业务之间的先后,顺序加载数据。例如: DW层和DM之间的调度,DW层中如果吞吐量已经加载完数据,就会启动DM层的用到吞吐量的WorkFlow,而不会等DW层启动主题运行完以后,在启动DM层。
2>按设计架构就行设计
按照设计架构的先后顺序加载数据。例如: DM层和DW层之间的调度,DW层中的所有主题加载完数据以后,在启动DM层。
7: 异常处理主要包括:
1>月更新: 对于按日加载数据的workflow,为了保证数据的一致性,需要进行月更新抽取。
2>拒绝数据: 对于那些违犯清洗规则的数据,为了保证数据质量,会被放到定义好的拒绝表中,通知维护人员对进行处理。
3>workflow的监控: 通过web程序,监视workflow及session的运行状态。
8: 利用BO工具开发报表,并对各报表进行测试。
使用技能
无
公司名称
北京金网桥
在职时间
2007-04-01 ~ 2007-11-01
职位名称
java程序员
薪水
0/月
项目描述
软件/互联网开发/系统集成
个人职责
软件工程师职位级别: 初级职位(两年以下工作经验)职责和业绩: 项目名称: 企业数据平台二期
技术/工具: Java Data Integrator Cognos
项目描述:
参与企业数据平台二期的开发。在开发中,主要负责前台的页面显示和控制层,在开发过程中利用cognos生成报表,用DI进行数据抽取.主要负责的模块有企业人员基本信息,企业基本信息查询,股权结构信息,房屋建筑,地区区域信息,企业区域信息,货币信息等模块的开发
使用技能
无
教育经历
院校名称
哈尔滨职工大学
毕业时间
所学专业
电子商务
最高学历
大专
