54chen Twitter Memo 2010-10-24

    #
Ugc Tech Talk#我们补了一个KATA的补丁,关于client的线程池的重复产生。 # #Ugc Tech Talk#分布式的评分、排序,请求分成三步,1.到每个节点发请求去算满足的数量和词频,在客户端临时换算 2.第二次带上1的计算结果去各节点查后在客户端排序 3.第三次请求已经知道节点和shards的具体信息去请求详细内容 # #Ugc Tech Talk#在kata中搜数据时:先分词,索引逻辑或进行查询,客户端向zk拿到索引列表,每个索引维护一个索引,zk索引变化会通知客户端。 # #Ugc Tech Talk#整个集群共同管理整套虚拟目录,这是zk提供的牛B机制。 # #Ugc Tech Talk#kata有主节点,zoolkeeper维护终端 sh zkCli.sh -server 127.0.0.1:2182 # #UGC Tech Talk#kata提供了不少的管理工具,比如:sh kata showStructure(在kata.java中定义) # #Ugc Tech Talk#Zookeeper在kata中作用巨大,是一个去中心化的系统。kata中有一个专门的包与其通信。 # #UGC Tech Talk#搜索的缓存热点很少,缓存5分钟即可。 # #UGC Tech Talk#kata提供现成的临时摘下某个小索引的api。 # #UGC Tech Talk#单天的索引文件的重建只需要只秒左右。 # #UGC Tech Talk#建立索引时会影响读的性能,如果索引文件比较大,相对去比较影响,如果读写分离,将要维护两份索引,将索引文件尽量小是一个不错的办法。 # #UGC Tech Talk#hadoop负责本地索引和发布到kata的过程。 # #UGC Tech Talk#小索引文件,增量增加索引文件,一个小时增加今天的索引。 # #UGC Tech Talk#环境准备:索引建立 1.定期查DB 2.新产生的存在队列中定期建 # #UGC Tech Talk# UTT 讨论直播 分布式搜索kata的二次开发实战 # 转自贾睿韬: 魔兽史上一大难题已被破解:whosyourdaddy 答:我爸是李刚 # 从反馈到现在24小时去了,http://places.renren.com/web/PoiFeed,一个很容易被用户发现低级错误还在线上。 # @bravetaoy 感谢兄弟提供,马上加上 in reply to bravetaoy # 转自刘启荣: 毕业前,快乐是件简单的事;毕业后,简单是件快乐的事。 # 百度知道赫然发现有窗口下的条,和人人网的神似,这难道是百度SNS的第二步? # http://places.renren.com/web/PoiFeed?pid=B000A30D3A 人人网LBS # RT小Z:哥在erp上请假 半天也提交不了 后来才发现这玩意只支持IE6 // 这个现象存在于多家一流企业。 # http://www.54chen.com/_linux_/china-internet-db-report.html 国内互联网公司数据库访问层调查,新增加了淘宝支付宝和腾讯的分析,感谢@fenng和胖子、呵呵哥提供线索支持。 # 由于最近国际天气不好,科学院feed地址已经切回国内,如果用原来feedburner地址订阅的同志没有红杏,请将订阅地址转为http://www.54chen.com/feed,周知。 # 国内互联网公司数据库访问层调查 http://goo.gl/fb/KrCcJ # 明显感觉到最近通胀压力,因为猎头在找上门的时候,都是以15k为单位的,几年前的时候10k都很多了,人民币和白纸似的了。 # 以为涨的房价自己赚了,切不知一加息都让银行收去了。 # 通过哥学社,统计了人人、百度、腾讯、金山、盛大、新浪(排名不分先后,想到哪个写哪个)等公司的数据库系统的中间件架构,近期放出分析报告。 # 北京互联网创业团队招靠谱UI设计师,工作地点在海淀,团队和项目都很靠谱,不缺钱,其他资源不是问题,待遇从优,感兴趣的发送个人简历和作品到mynameisfung@gmail.com,需要的话邮件进一步沟通。 # 转自·嫫__茉❤: 我同学恋爱啦,她的男友是在世博沙特馆排四个小时的队认识的,真是世博改变生活啊~!!!单身的同学抓紧了~ # “我愿化身石桥,愿受五百年风吹,五百年日晒,五百年雨打,只为你从桥上走过。”--走过之后用石灰画一个圈写一个字:拆 # 化随机为顺序,如果有这样一种算法,算不算是对硬盘技术的提升呢?但是要怎么来实现呢? # 对于一个互联网公司,时断时续的网速,IT部门上班时间魔兽,我表示无语。 # nginx.conf控制指定的代理ip和ip访问的设置手记 http://goo.gl/fb/WNtQl # 波兰科学家认为今冬北半球将迎“千年极寒”,不管这消息真假,nnd今天比昨天感觉又冷多了。 # 淘宝的武侠文化一直是我所欣赏的文化,一种江湖气息贯穿工作,正如哥学社的哥文化,已然成为所有技术哥中坚定的信念。 # 54chen Twitter memo 2010-10-17 http://goo.gl/fb/Klbtg #


原创文章如转载,请注明:转载自五四陈科学院[http://www.54chen.com]

捐款订阅54chen
捐赠说明

Comments