讲座已经开始,现在是人人网牛人张洁介绍。
----
现在是新鲜事后台架构牛人铁安在讲解新鲜事要完成的功能:
将一个用户产生的内容实时发送给与他相关的一群人。
尽可能地帮助用户保存内容。
现在面临的挑战
分发压力:5000W*100 全天分发的总量在五十亿左右。每秒分发的次数是六万次每秒。
现在有1.3t的内存占用。
----
老版本的新鲜事结构
----
新的系统结构
分发之后,内容本体丢进cache和db,dispatch服务通知到相关的人,分发后来的结构保存一人一条到TC
---
MENU
技术细节部分
分发部分的策略优化:瞬间分发海量数据,光良首页的例子(一百万的粉丝同时产生)。产品策略优化。
内存压缩技术:新鲜事内存结构(FlyWeight),字符串压缩存储(QuickLZ)
新鲜事存储方案
----
内存压缩技术:flyweight的设计
只要对象存在,所有的指针都能找到正确的内容。
boost::flyweight在高并发情况下有效率问题,自己实现了相同的功能。
各种压缩办法的性能比较:
QuickLZ的压缩比不是最高的,但解压缩是最快的;代码简单;支持追加方式的压缩;有成熟的商业应用。
boost::multi_index介绍 用来做多视图显示的东东 提供三种不同的索引方式
一段例子代码 c++代码。。。略鸟
-------
新鲜事存储方案
TC+Direct IO + SSD
key-value DB的一个表。
研究的三个开源项目:
Hypertable
tokyo tyrant
MemcacheDB (哈哈,测试了两个张宴兄弟的东东,感叹一下下,张宴兄弟在nginx和tt的文档贡献真是不浅)
TC的测试结果
读取很少的数据的情况下读和写都很快,在几个G之内的数据文件,数据量增加到一定程度写入会持续下降。100G一秒只能写入六七百次。所以单纯使用TC是不现实的。
新的方案
所有的写合并;通过LOG保证Down机后数据恢复;使用TC保存索引;使用异步IO读写文件;使用DirectIO怎么OS的Cache策略;使用SSD解决大量的并发读取。
SSD随机读和顺序读速度接近。五六万每次的速度。
-------
全场结束,答疑
-------