Redis 测试办法tclsh入门手记

redis tcl 一 什么是tclsh tool command language
terminal control language
看上去两个都是。tcl和c语言有着天然的亲缘关系,相近的数据类型与控制结构,通过规范的 api,可以比较方便的用c进行tcl的扩展开发,当然不在本文的讨论范围。

二 变量 任何字符串均可作变量名。甚至空格也可以作为变量名。 三 变量赋值 set Name xxxxx
set Name "xxxxxxx"

四 数据类型 实际上只有一种数据类型:字符串
数值计算只能用在expr命令中:
%expr abs(sin($x))
输出时非常类似C语言:set x [format "hello %-8.2f!" $y]

五 特殊的字符 $ 异常变量的值
[] 展开一个命令的值
"" 内容为一个整体,内支持$[]等
{} 内容为一个整体,内不支持$[]及转义
\ 转义字符

list 列
llenght 列的长度

六 各种注意 如果表达式一端有字符串常量,一定要使用引号。
source 相当于php的include似的。
global
load 加载外部的函数库(基本上都是加载C的)
proc 就像一个函数

七 redis测试入口 最外层的make file会使用src下的make file的 test,当test接入时,最先会进行连接编译,然后运行runtest,runtest开始运行tcl脚本。

tests/test_helper.tcl
文件中设置了五个位于support下的tcl脚本。
同时所有的test case记录在::all_tests中
在helper末尾,对输入进行了循环检查,

入口在:test_client_main,由末尾的if条件中调用。去test_client_main中取列表循环运行。

54chen Twitter Memo 2012-07-15

    rose手册在线版本:http://t.co/CRNq2eyH 同时提供pdf\mobi下载:
http://t.co/rE9S2X3E # 完整版本的rose手册,http://t.co/GzEt2O4g ,还剩下最后的历史一章留下给了 @Qieqie ,连续一个多月的连载,希望能为用java开发的创业公司起到作用。 # rose手册第三章C节:DAO层:分表设置 http://t.co/R0zdOCWF # 今天写rose jade dao分表一节。 # 54chen Twitter memo 2012-07-08 http://t.co/kJnBarCk #

rose手册第三章C节:DAO层:分表设置

rose

欢迎顺利进入本章,如果您的企业需要这一节的内容,那么说明用户量很有前途,如果使用了本节的内容,不防向czhttp@gmail.com发信一封以表谢意,我们会很高兴收到各种反馈。

3.C.1 mysql分表的常规做法

以下是个人从业经验中的分表规则:

按照 id % 100 分为一百份
按照 id % 16 分为十六份
按照 id/10 % 10 分为十份
按照 id%10 分为十份

以上分表规则特别在mysql中使用机会比较多,各有优势,没有对错,只有最好与最不好用。

3.C.2 使用分表第一步:添加新的依赖

要使用分表,需要添加新的依赖,由bmw提供的bmwutils。

  1. <dependency>  
  2.     <groupId>com.54chen</groupId>  
  3.     <artifactId>bmwutils</artifactId>  
  4.     <version>0.0.2</version>  
  5. </dependency>  

3.C.3 使用分表第二步:设置applicationContext.xml分表规则

在开写代码之前,需要告诉DAO是哪个表需要分表,按照什么规则分,分多少份。

  1. <!-- 以下配置为分表设置 -->  
  2. <bean id="jade.routerInterpreter" class="com.xiaomi.common.service.dal.routing.RewriteSQLInterpreter">  
  3.         <property name="routingConfigurator" ref="jade.routingConfigurator" />  
  4. </bean>  
  5. <bean id="jade.routingConfigurator" class="com.xiaomi.common.service.dal.routing.RoutingConfigurator">  
  6.         <property name="partitions">  
  7.               <list>   
  8.                    <value>hash:test:id:test_{0}:100</value>   
  9.               </list>  
  10.         </property>  
  11. </bean>  

此处配置中,partitions参数为一个list,可以对多个table进行定义。
hash:test:id:test_{0}:100 表示:使用hash这种办法,将test这个表,按照id的值,分成100份,每份的表名为test_x

3.C.4 使用分表第三步:bmwutils支持的分表办法

(hash)上例中的hash: 最常用的 id % 100 就是这种办法。该办法会把传入的值先进行转为数字后与定义的份数进行取模(%)。
(direct)最直接的一种:用的少一些,没有什么规则,直接根据第四个正则,与第三位传入的值进行替换。假设有个人名表,按照字母分表可以用。name_A,name_B,name_C...
(round)轮循:根据设置,按照调用sql的情况,轮流使用各个表。
(range)范围:一般用来做日期范围的分表,比如说微博类的,可变值为一个时间,当时间传入时,第三位支持log{yyyy} log{yyyy_MM}等时间格式的替换,可轻松做到按周、月、年分表。
(xm-hash)小米hash:一种古怪的办法,按照传入值的十位进行取模的分表方案。
(xm-str-hash)小米字符串hash:将字符串按照固定算法变成long之后,再按照小米hash逻辑处理。
(hex-hash)16进制分表:固定256份以内,传入的值按照16进制转换后按hash求模。

3.C.5 使用分表第四步:写DAO代码@ShardBy

  1. @SQL("SELECT user_id, device_token FROM test where user_id =:id")  
  2. public List<Test> getTestsById(@ShardBy @SQLParam("id"int id);  

与不分表的dao相比,只多了一个shardBy,标识按照这个参数值分表。

文中所提及代码均在 https://github.com/XiaoMi/rose/tree/master/rose-example 提供。
长期更新版本:https://github.com/XiaoMi/rose/tree/master/chapter_3_C

54chen Twitter Memo 2012-07-08

    rose手册第三章B节:DAO层:DAO进阶:SQLParm支持和表达式SQL
http://t.co/ecLqOv41 # 七一闰秒:除了一个低版本的内核会有ntpd占用cpu的情况,从观察的情况,centos6.2+java都有cpu高的问题。 # http://t.co/GMWRgDnY 有朋友在jetty中使用rose portal和pipe功能时发现有空指针问题,研究发现,jetty默认的nio connector会使一些子window的返回是null,因此在使用时一定要切回bio。 # 闰秒这个事情真的让我们服务受到了影响,ntpd同步来的时间重合还是很危险的。 # 54chen Twitter memo 2012-07-01 http://t.co/cOzvPr8A #

rose手册第三章B节:DAO层:DAO进阶:SQLParm支持和表达式SQL

rose

3.B.1 SQLParam介绍:DAO方法传递参数

SQLParam作为DAO支持中的参数传递使者,可以传递一个常见的变量,也可以是一个自定义的对象。
比如:

  1. @SQL("insert into test (id,msg) values (:t.id,:t.msg)")  
  2.  public void insertTest(@SQLParam("t") Test test);  

上列中Test对象通过t传递到sql执行中去,并且可以分别使用其中的属性。这感觉是不是很自然?

当然,如果是一个int、long、String等自在不言中。

当是list时,会有自动的batch操作,将sql拆为多条sql执行。这个小技巧会在后面的章节里讲。平时很少用到。 3.B.2 ReturnGeneratedKeys介绍:返回刚刚插入的ID号

特别是使用mysql开发的广大劳苦大众,常常会使用到auto_increament的字段。
当一条insert语句在执行的时候,我们常常会去需要拿它的当前的自增id是多少。

  1. @ReturnGeneratedKeys  
  2. @SQL("insert into test (id,msg) values (:t.id,:t.msg)")  
  3. public int insertTest(@SQLParam("t") Test test);  

如上述代码所示,只需要加上一个@ReturnGeneratedKeys即可返回当前的id

3.B.2 表达式的支持

多变的业务需求决定了我们的sql是复杂的,需要有条件地执行。
如果每种条件都去写DAO中的SQL,那DAO的变得很大。
常常会有动态产生sql的需求。

jade支持一些常规的表达式。

语法一:常见的变量赋值
冒号(:)表示这是一个变量,比如上面的例子里的 :t.id,它会被一个值替换。

语法二:字符串连接
连续的井号(##) 表示后面的变量作字符串连接
如下例中的partition变量,还请不要误解,分表不是这样做的,下一章会介绍标准的分表设置。

  1. @SQL("SELECT user_id, device_token FROM test_##(:partition) LIMIT :limit")  
  2. public List<Test> getTests(@SQLParam("partition"int partition, @SQLParam("limit"int limit);  

语法三:条件选择

井号if(#if{})用于表示当条件满足时sql拼接。

  1. @SQL("SELECT user_id, device_token FROM test_##(:partition) #if(:user>0){ where user_id=:user } LIMIT :limit")  
  2.    public List<Test> getTestsIf(@SQLParam("partition"int partition, @SQLParam("limit"int limit, @SQLParam("user"int user);   

其他语法:还有for循环,实际使用少。
典型地,一般的select in查询,可以直接传入list,例如下例中的ids变量:

  1. @SQL("SELECT user_id, device_token FROM test_##(:partition) where user_id in(:ids)")  
  2. public List<Test> getTestsByIds(@SQLParam("partition"int partition, @SQLParam("ids") List<Integer> ids);  

文中所提及代码均在 https://github.com/XiaoMi/rose/tree/master/rose-example 提供。
常年更新版本在:https://github.com/XiaoMi/rose

54chen Twitter Memo 2012-07-01

    rose手册第三章A节:DAO层:DAO的基本配置与使用
http://t.co/Whs4IMIL # 开始DAO层的文档写作,恰逢公司热火朝天融资翻番,本想说点啥感言吧,最后只留下在文章末尾附招人广告邮箱一枚,哈哈。 # 有朋友在观望rose-jade的时候发现无法用注解做更加灵活的动态sql,其实jade提供了常规的一些if表达式之类的支持。 # 54chen Twitter memo 2012-06-24 http://t.co/a13H2rOR #

rose手册第三章A节:DAO层:DAO的基本配置与使用

rose 本章开始进入对DB层的支持,同进也是日常开发用得最多的章节。 3.A.1 什么是jade?

jade大概是java access data layer的意思吧,具体的来由,在章节写到末尾的时候,我再找qieqie和liaohan大侠们写一写编年史。
用jade的好处在于,尽可能减少重复的从db把数据对bean进行装配的过程,统一入口,隔离业务逻辑,方便review。
jade是在spring完成的数据层的良好实践总结,无缝接入rose中,可以算得上是rose亲密无间的好模块。

3.A.2 引入基础配置

要开始使用jade,一定要先引用jade的基础包:

pom.xml

  1. <dependency>  
  2.     <groupId>com.54chen</groupId>  
  3.     <artifactId>paoding-rose-jade</artifactId>  
  4.     <version>1.1</version>  
  5. </dependency>  

除了需要jade的包外,还需要引入数据源连接池的jar,这里使用了dbcp,还是在pom.xml中:

  1. <dependency>  
  2.     <groupId>commons-dbcp</groupId>  
  3.     <artifactId>commons-dbcp</artifactId>  
  4.     <version>1.2.2</version>  
  5. </dependency>  
  6. <dependency>  
  7.     <groupId>mysql</groupId>  
  8.     <artifactId>mysql-connector-java</artifactId>  
  9.     <version>5.1.10</version>  
  10. </dependency>  

在pom中引入了依赖之后,需要定义一个数据源,这里先不考虑多个数据源的情况。

在war项目的applicationContext.xml中增加数据源定义:

  1.  <!-- 数据源配置 dbcp -->  
  2. <bean id="jade.dataSource.com.chen.dao" class="org.apache.commons.dbcp.BasicDataSource"  
  3.     destroy-method="close">  
  4.     <property name="driverClassName" value="com.mysql.jdbc.Driver"></property>  
  5.     <property name="url"  
  6.         value="jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&amp;characterEncoding=utf-8"></property>  
  7.     <property name="username" value="test"></property>  
  8.     <property name="password" value="test"></property>  
  9.     <!-- 运行判断连接超时任务的时间间隔,单位为毫秒,默认为-1,即不执行任务。 -->  
  10.     <property name="timeBetweenEvictionRunsMillis" value="3600000"></property>  
  11.     <!-- 连接的超时时间,默认为半小时。 -->  
  12.     <property name="minEvictableIdleTimeMillis" value="3600000"></property>  
  13. </bean>   

这里假设了mysql已经安装在本地了,用户名为test,密码为test。
jade约定了bean的id为jade.dataSource.classPackageName。
jade约定了这个bean的有效范围为classPackageName所有的DAO。
jade约定了除非有专门的定义,所有的子目录也受bean上的classpackageName所影响。

3.A.3 第一个读取数据库的实例

先需要准备一下数据库:

  1. create table test (int id, varchar(200) msg);  
  2. insert into test values(111,'adfafafasdf');  

然后准备简练的DAO声明:

  1. @DAO  
  2. public interface TestDAO {  
  3.     @SQL("select id,msg from test limit 1")  
  4.     public Test getTest();  
  5. }  

Test是一个class,里面有标准的getter和setter。

然后从一个类去调用它:

  1. @Service  
  2. public class TestService {  
  3.   
  4.     @Autowired  
  5.     private TestDAO testDAO;  
  6.   
  7.     public Test getTest() {  
  8.         return testDAO.getTest();  
  9.     }  
  10. }  

当然也可以直接用controller就调用它显示了,当然这不是一个大型项目良好的架构,架构问题在最后的章节里讲述。 3.A.4 查看演示代码

rose-example项目的HelloController已经准备好了一个action做为此节的总结。

你可以将此节发布到resin或者tomcat后访问:http://127.0.0.1/3.10 查看结果。

文中所提及代码均在 https://github.com/XiaoMi/rose/tree/master/rose-example 提供。

常期更新版:https://github.com/XiaoMi/rose/tree/master/chapter_3_A

×××小米C轮融资成功,不经意间过去的两年已经翻了数十倍,需要你加入,继续创造翻N倍的价值。chenzhen at xiaomi dot com。×××

54chen Twitter Memo 2012-06-24

    有写ansi C的人吗,都用tclsh做测试吗?
# rose手册第三章七节:controller层:上传文件 http://t.co/AhYPKs9o # 一群人揉吧揉吧出来的产品与一个霸权主义老大整出来的产品哪个更靠谱? # 三十岁前你养成习惯,三十岁后习惯养成你。 # 54chen Twitter memo 2012-06-17 http://t.co/zBXFE46s #

Rose手册第三章九节:controller层:上传文件

rose

3.9.1 其实很简单

添加依赖包:commons-io.jar
html中使用 enctype="multipart/form-data",method="POST"
直接看后端代码吧。

  1. @Post("/doUpload")  
  2.    public String doUpload(@Param("file") MultipartFile file) {  
  3.        return "@ upload ok!" + file.getOriginalFilename();  
  4.    }  

3.9.2 其他

可以同时接收所有的文件

  1. // 不声明@Param  
  2. // files可以是一个数组或者List  
  3. public String upload(MultipartFile[] files) {  
  4.     return "@ok-" + Arrays.toString(files);  
  5. }  

同时也可以使用@Param传递不同的name。

54chen Twitter Memo 2012-06-17

    现代中国互联网产品的拼杀到技术上最终都到了sql的拼杀,抛开框架层面的东西,大面上来说,还需要大量的写sql的人员,新的职业,就叫做SQLer吧。肯定有人不愿意了叫SQLer,工作多年还能写出二分查找、双向链表反序的不在此列。
# @javasoze we too, haha # 搞后台的遇到的最苦逼的事情No.1:线上挂了,N多用户等着,经理老板在屁股后头问怎么回事,MD技术选型时图新鲜,觉得不会挂,这下SB了,从源代码开始解起。 [所幸这事工作中还没遇到过,在大学里搞BBS时天天干这事] # rose手册第三章八节:controller层:门户必备pipe支持 http://t.co/A0T2v2f3 # @javasoze Derby doesn't support auto_increament.H2Database is better than it. # 看你的右手中指第一个关节近食指的一面,是不是茧要厚些,这是你好好学习的象征。 # mysql要是能够提供一个纯java的内存数据库,那对写test case会提供巨大的帮助。 # 54chen Twitter memo 2012-06-10 http://t.co/VQwbDOst #