梁志
本人可以担任的工作有:
海量数据处理
socket编程
本人掌握的技术有
unix, linux, shell
c/c++
java
本人拿手的特长有
谙熟排序和查找类算法
谙熟压缩算法
信手即来的shell编程功力
本人的核心思想是“设计”
- 技术能力:
- 工作态度:
- 工作成果:
项目意向
软件工程师、研发工程师、高级软件工程师
960元
全程集中
北京
工作经验：
擅长技能:
JAVA、Shell、C++
平台工作经历
其他工作经历
公司名称
北京缔元信互联网数据技术有限公司
在职时间
2008-08-01 ~ 2019-01-01
职位名称
研发工程师
薪水
0/月
项目描述
软件/互联网开发/系统集成
个人职责
提出解决方案, 设计算法.
编写程序(unix下c, shell类).
2008，2009年间本人主要主要编写代码（主要c，shell，数据库），未曾做设计系统的工作，2010年开始陆续的接项目或者自行设计项目，由本人设计并实现的项目有:
2010-5-至-2011-11
设计了一个语料库，使用c和java实现（同时实现了c/c++接口和java接口）。该系统使用bdb存储蜘蛛抓取结果。数据存储时采用“分层”的思想，txt层，idx层和k/v层。
除了高速查询的功能外，该系统还可以快速重建索引，并能在各个层单独进行查询，系统非常稳定。
该系统设计寿命是30年，目前年存储量为3kw。
2010-10-至-2011-5
设计跨WAN传输海量数据的解决方案， 使用c和shell语言实现。该系统运行在8个机房的16个节点中（约百台采集机和约30台收集机上）。比ftp实现要快2-3倍。
系统功能有:
快速传输
压缩传输
断点续传
智能管理空间 在空间使用和数据完整间作出权衡
自动转发 可以将特定块数据转发无限次
该系统已平稳运行半年多，节省了约一半的带宽，高智能和自动转发节省了1-2个人力的维护成本。
2011-3-至-现在
研发海量数据处理算法，把握数据特点和服务器的处理能力设计存储和查询。
包括外部排续、多级索引、多路归并、一致性hash存储、 数据压缩、分布式处理等课题。
该系统用c语言实现，核心代码约2w行，外围代码约6w行，并在编写应用上快速增长，在一些边缘的地方使用了bdb库存储索引，为了可控、速度和灵活性，没有再使用其他开源软件。
目前使用了约10台存储机器和一台查询机，天数据量约为8亿（条）。一致性hash存储的设计思想借鉴一致性hash算法，但是又有所不同。该算法在节点数发生变化（新增，删除）的时候，调整数据的分布，使数据均匀的分布在各节点中，它极大的减少了rehash交换的数据量，最坏情况下每次rehash只需交换1/4的数据量，IO方面最坏情况下需要读写5/8的数据，最好的情况下只需读写1/4的数据（该系统数据适合后者）。
在实现过程中，不管是编码还是解码，算法总是考虑多个磁盘的IO分配和磁头顺序移动, 最终保证系统查询的效率接近O(log N)。
在数据集合百亿以上的查询中，在已设计索引的维度上大批量查询平均时间是10s，在未设计索引的维度上大批量查询时间在20分钟到1个小时。
使用技能
无
公司名称
大用软件有限责任公司
在职时间
2006-04-01 ~ 2008-06-01
职位名称
维护工程师
薪水
0/月
项目描述
IT运维/技术支持
个人职责
Solaris和Sybase系统维护，网络维护。
涉及技术内容: 系统维护，网络协议，移动通信网管系统，海量数据存储。
在任职的2年时间兢兢业业，使系统平稳运行。
期间自学了unix编程技术，协助开发部门完成新系统。
针对新需求对老系统做相应的调整，以满足新情况。
本人的爱好有
Freebsd系统
Hack系统代码
阅读优秀的开源代码及其文档并叹为观止
本人对工作的态度是
对现有系统不满，进而开发更好的程序是我工作的动力。
使用技能
无
教育经历
院校名称
郑州轻工业学院
毕业时间
所学专业
信息科学技术
最高学历
本科