平凡的世界

Linux下常用I/O模型

kimi — Mon, 05 Mar 2012 15:32:35 +0800

简介
Linux异步I/O是Linux内核中提供的一个相当新的增强。它是2.6版本内核的一个标准特性，异步非阻塞I/O背后的基本思想是允许进程发起很多I/O操作，而不用阻塞或等待任何操作完成。稍后或在接收到I/O操作完成的通知时，进程就可以检索I/O操作的结果。

这并不是一个详尽的介绍，但是我们将试图介绍最常用的一些模型来解释它们与异步I/O之间的区别。下图给出了同步和异步模型，以及阻塞和非阻塞的模型。

每个I/O模型都有自己的使用模式，它们对于特定的应用程序都有自己的优点。本节将简要对其一一进行介绍。

同步阻塞I/O
最常用的一个模型是同步阻塞I/O模型。在这个模型中，用户空间的应用程序执行一个系统调用，这会导致应用程序阻塞。这意味着应用程序会一直阻塞，直到系统调用完成为止（数据传输完成或发生错误）。调用应用程序处于一种不再消费 CPU 而只是简单等待响应的状态，因此从处理的角度来看，这是非常有效的。
下图给出了传统的阻塞I/O模型，这也是目前应用程序中最为常用的一种模型。其行为非常容易理解，其用法对于典型的应用程序来说都非常有效。在调用 read 系统调用时，应用程序会阻塞并对内核进行上下文切换。然后会触发读操作，当响应返回时（从我们正在从中读取的设备中返回），数据就被移动到用户空间的缓冲区中。然后应用程序就会解除阻塞（read 调用返回）。

从应用程序的角度来说，read 调用会延续很长时间。实际上，在内核执行读操作和其他工作时，应用程序的确会被阻塞。

同步非阻塞I/O
同步阻塞I/O的一种效率稍低的变种是同步非阻塞I/O。在这种模型中，设备是以非阻塞的形式打开的。这意味着I/O操作不会立即完成，read 操作可能会返回一个错误代码，说明这个命令不能立即满足（EAGAIN 或 EWOULDBLOCK），如下图所示。

非阻塞的实现是I/O命令可能并不会立即满足，需要应用程序调用许多次来等待操作完成。这可能效率不高，因为在很多情况下，当内核执行这个命令时，应用程序必须要进行忙碌等待，直到数据可用为止，或者试图执行其他工作。正如图 3 所示的一样，这个方法可以引入I/O操作的延时，因为数据在内核中变为可用到用户调用 read 返回数据之间存在一定的间隔，这会导致整体数据吞吐量的降低。

异步阻塞I/O
另外一个阻塞解决方案是带有阻塞通知的非阻塞I/O。在这种模型中，配置的是非阻塞I/O，然后使用阻塞 select 系统调用来确定一个I/O描述符何时有操作。使 select 调用非常有趣的是它可以用来为多个描述符提供通知，而不仅仅为一个描述符提供通知。对于每个提示符来说，我们可以请求这个描述符可以写数据、有读数据可用以及是否发生错误的通知。

select 调用的主要问题是它的效率不是非常高。尽管这是异步通知使用的一种方便模型，但是对于高性能的I/O操作来说不建议使用。

异步非阻塞I/O
最后，异步非阻塞I/O模型是一种处理与I/O重叠进行的模型。读请求会立即返回，说明 read 请求已经成功发起了。在后台完成读操作时，应用程序然后会执行其他处理操作。当 read 的响应到达时，就会产生一个信号或执行一个基于线程的回调函数来完成这次I/O处理过程

在一个进程中为了执行多个I/O请求而对计算操作和I/O处理进行重叠处理的能力利用了处理速度与I/O速度之间的差异。当一个或多个I/O请求挂起时，CPU 可以执行其他任务；或者更为常见的是，在发起其他I/O的同时对已经完成的I/O进行操作。

原文摘抄自：http://www.ibm.com/developerworks/cn/linux/l-async/

Typecho中文验证码Captcha插件

kimi — Wed, 08 Feb 2012 11:18:05 +0800

前言
实在是受不了每天都要删除掉上百条的垃圾评论，干脆自己做了个验证码插件，顺带做的完善了些，分享给大家。

本插件是在评论验证码插件基础上完善而来。所不同的是，采用了最新的securimage 3.0.1，并且支持支持Sina App Engine环境，同时将大部分的配置选项放在了插件设置中，方便新手使用。

安装

首选，点击下载本插件；
其次，将Captcha目录放置在Typecho根目录下的usr/plugins/目录中；
再次，在控制台=>插件管理中启用Typecho Captcha插件，并配置相应的参数；
最后，编辑摸板，在评论的表单位置也就是comments的form标签之间的任何你认为合适的地方，加上如下代码
```
<p><?php Captcha_Plugin::output(); ?></p>
```

演示
验证码实例看本Blog的评论部分即可，具体的配置参数如下图：

PHP扩展开发:第一个扩展

kimi — Wed, 14 Dec 2011 17:12:41 +0800

在上一篇文章《PHP扩展开发:安装PHP》我们已经将开发PHP扩展的PHP环境安装成功，那么接下来采用最简单直接的方式创建第一个扩展。

我们先假设业务场景，是需要有这么一个扩展，提供一个叫ccvita_string的函数，他的主要作用是返回一段字符。（这个业务场景实在太假，大家就这么看看吧）对应的PHP代码可能是这样：

function ccvita_string($str){
     $result = '<a href="'.$str.'">Link</a>'；
     return $result;
}

第一步，生成代码
PHP为了扩展开发的方便，提供了一个类似代码生成器的工具ext_skel，具体可以参见说明。
首先我们创建一个文件ccvita.skel，它的内容为

string ccvita_string(string str)

就是告诉ext_skel这个东西，我们要做的扩展里面有个函数叫ccvita_string。然后执行

cd MooENV/src/php-5.3.8/ext/
./ext_skel --extname=ccvita --proto=ccvita.skel
cd ccvita/

这时候，ccvita这个扩展的代码框架就已经出来了。

第二步，修改配置
然后修改config.m4文件将10、11、12三行最前面的dnl删除掉，就是将

dnl PHP_ARG_WITH(ccvita, for ccvita support,
dnl Make sure that the comment is aligned:
dnl [  --with-ccvita             Include ccvita support])

修改为

PHP_ARG_WITH(ccvita, for ccvita support,
Make sure that the comment is aligned:
[  --with-ccvita             Include ccvita support])

第三步，实现功能
修改源码ccvita.c文件
找到将ccvita_string这个函数修改为

PHP_FUNCTION(ccvita_string)
{
    char *str = NULL;
    int argc = ZEND_NUM_ARGS();
    int str_len;
    char *result;

    if (zend_parse_parameters(argc TSRMLS_CC, "s", &str, &str_len) == FAILURE) 
        return;

    str_len = spprintf(&result, 0, "<a href=\"%.78s\">Link</a>", str);
    RETURN_STRINGL(result, str_len, 0); 
}

第四步，编译扩展
保存后，开始编译

/usr/local/php/bin/phpize
./configure --with-php-config=/usr/local/php/bin/php-config
make

第五步，添加扩展
这时候，一切顺利的话，该扩展已经在modules/ccvita.so这个位置了。下面就是将这个扩展加入到PHP中去，让我们PHP程序可以调用到。

cp modules/ccvita.so /usr/local/php/ext/
vim /usr/local/php/etc/php.ini
extension=/usr/local/php/ext/ccvita.so #在php.ini文件最后增加这一行
service php-fpm restart #重启PHP服务
cp ccvita.php /data/www/wwwroot/default/

接下来就可以访问ccvita.php这个文件，测试扩展了。下一篇，将会涉及一些更深入的内容。

相关代码，可以在我的github上clone出来，地址：https://github.com/KimiChen/PHP-EXT

PHP扩展开发:安装PHP

kimi — Thu, 08 Dec 2011 02:39:59 +0800

前言
在几种情况下，我们会需要进行PHP扩展开发：

PHP本身无法访问的资源或是调用，通过扩展的方式可以实现
处于性能和效率的考虑，用C实现会更好
处于商业或代码保护考虑，将代码封装起来
为了更深入的了解PHP，从这里入门

不管是出于什么原因吧，在看这篇文章的时候，我默认你是有进行PHP扩展开发这个需求的。本篇文章会分为三个系列从安装、简单实现一个扩展、到深入理解扩展机制和相关API。这也计划把自己最近一段时间以来做PHP扩展开发的一些经验和记录写下来。

准备工作
PHP扩展开发首先要有的是一个源码安装的PHP环境，从简单的角度出发，推荐我们公司的开源项目MooENV。

这是一个自动化部署LAMP环境的开源项目，目前主要是公司运维的同事在维护。特别适合VPS或者虚拟机一键安装环境使用，多了不推荐了，我们开始吧。

安装Git
在CentOS 5.x下面安装Git需要自己编译，详细参见文章《在CentOS上安装Git》；CentOS 6.x下直接

yum install git

安装MooENV
首先把MooENV的源码git clone到本地，才能开始安装，好按照下面的步骤继续吧。

git clone git://github.com/Ismole/MooENV.git
cd MooENV/
dmesg -c #这一步的主要目的是清除系统级别的错误，如果有系统级的错误，MooENV是不能继续安装的，在这里我默认你是在虚拟机装的MooENV，所以直接忽略掉。
./install.sh

下面进入安装MooENV安装过程中的几个问题

Do You Agree To The Terms Of This License? (Y/N)
#这个必然选y

 === Which Integrate Environment You Want? ===
 1: L.N.M.P - Nginx/PHP-FastCGI/MySQL/NoSQL
 2: L.A.M.P - Apache/PHP/MySQL/NoSQL
#按照你的喜好选择是Apache还是Nginx吧

Do you want to change default YUM mirror to others? (y/n)
#新系统我都选y，YUM升级下
 SELECT YUM MIRROR
 1. 163 - http://mirrors.163.com
 2. Sohu - http://mirrors.sohu.com
 3. Custom - Manually input URL
Which YUM Mirror Do You Want To Use? (1/2/3):
#这个我一般选择163的YUM镜像

Do you want to perform a YUM update now? (y/n)
#YUM是否立即升级，推荐升级下

#然后就是一个依赖库安装的过程

 === Set MySQL root password ===
*** Input  password:
#输入MySQL的root密码

 === Environment Backup Setting ===
Do you want to add backup job to system cron? (Y/N)
#是否添加自动备份

 === System Services Configuration ===
Do you want Web Server start at boot time? (Y/N)
#是否自动启动Nginx或是Apache
Do you want MySQL Server start at boot time? (Y/N)
#是否自动启动MySQL

PHP安装完毕
以后我们最常用到的目录就会是PHP的源码目录，可能是这样

cd MooENV/src/php-5.3.8/ext/

在CentOS上安装Git

kimi — Wed, 30 Nov 2011 02:00:17 +0800

CentOS的yum源中没有git，只能自己编译安装，现在记录下编译安装的内容，留给自己备忘。

确保已安装了依赖的包

yum install curl
yum install curl-devel
yum install zlib-devel
yum install openssl-devel
yum install perl
yum install cpio
yum install expat-devel
yum install gettext-devel

下载最新的git包

wget http://www.codemonkey.org.uk/projects/git-snapshots/git/git-latest.tar.gz
tar xzvf git-latest.tar.gz
cd git-2011-11-30 ＃你的目录可能不是这个
autoconf
./configure
make
sudo make install

检查下安装的版本，大功告成

git --version

解决Lion下Dock进程CPU跑满的问题

kimi — Fri, 18 Nov 2011 13:49:32 +0800

自打iMac、Macbook Air都升级Lion系统之后，总会时不时的出现Dock进程CPU跑满的问题。尝试解决了很多次，也没法彻底解决。

前几天终于怒了，挨个关应用程序，最后在关闭VMware Fusion之后，Dock占用的CPU归零了。

经过一翻搜索，终于在这里发现了解决方案：

For anyone who can reproduce this,
I am a developer on the VMware Shared Folders feature, and sorry for the slow response in getting to this.
Please could someone enable the Shared Folders sharing again for the Windows VM and then suspend or shutdown the VM.
Quit Fusion and then edit the vmx file for the VM and add the following line if does not already exist (which it should not):
isolation.tools.hgfs.notify.enable = "FALSE"
(The file resides in the same folder along with all the files for the VM, is the same name as the name of the VM and ends with the extension ".vmx".)
Restart Fusion, restart the VM, ensuring that it has had a reboot if you suspened and didn't shut the VM down.
See if the problem reappears again.
From the descriptions that I have read, and system log events that occured, it seems that the directory change notification feature may be the cause of the issue. This feature monitors file system events on the host and notifies applications running in the VM, such as Windows Explorer so they can refresh their cached information of directory contents automatically. We poll the fsevents for this and Apple may have changed this and caused the feature to break.
Since it has not been reproduced in house so far from what I can tell, disabling this feature would help us narrow down the cause and maybe discover what Apple have changed.

具体的方案是修改和VMware Fusion虚拟机同名的.vmx文件，比如我的文件名就是Windows XP Professional.vmx，在文件内新增一行

isolation.tools.hgfs.notify.enable = "FALSE"

PS：经过三天的使用，再没出现Dock进程CPU跑满的现象，另外Parallels Desktop也同样会出现问题，需要升级。

Typecho支持SAE附件上传

kimi — Sun, 06 Nov 2011 23:39:01 +0800

前言
不知不觉Typecho支持Sina App Engine环境也有一年多的时间了。在这段时间里，开发团队一直没有增加对SAE附件上传的支持，我们对这部分用户表示歉意。

同时着重感谢defe.me、whyyou.me等网友对Typecho在SAE上诸多问题的修复。

安装
稍后我们会联系SAE官方，更新SAE商店中的Typecho版本，目前如果想试用的话，请Typecho下载页面下载SVN打包的版本，或者直接检出Typecho SVN，然后覆盖当前代码即可。

svn checkout https://typecho.googlecode.com/svn/trunk/ typecho

重要提示：如果您以前用过其他网友的附件上传、解决404的方案，需要将对应的文件都修改回来。

接下来，在控制台=>插件管理中启用SaeUpload插件，并在Sina App Engine控制面中新增Storage的Domain名称为typechoupload，同样的设置SaeUpload插件中的Domain名称为typechoupload即可。

开发计划
近端时间开发团队，修正了Typecho在SAE版本的一些问题，罗列如下：

发布Sina App Engine专用的文件上传插件，使用SAE的Storage做持久化存储；（查看）
修正由于SAE更改数据库信息常量无法自动读入配置的问题；（查看）
兼容server不支持http 1.1的情况，典型问题SAE环境404页面乱码；（查看）

接下来要为SAE环境解决的几件事情：

开发适用于SAE环境的验证码插件，解决垃圾评论满天飞的情况；
优化一些SAE特性决定的实现，让Typecho在SAE上更节省云豆；
评论回复邮件提醒插件对SAE的支持；
一个更好用，更适合研发人员的编辑器（自私的说，这个是为我自己写blog方便而想的）；

大家可以看到，作为Typecho的开发人员之一，博主的blog也正式的迁移到了SAE环境上来，这也将促使Typecho更好的为SAE的用户服务。

下面是我最近比较喜欢的一张相片，顺带测试SAE附件上传功能

简明Vim练级攻略

kimi — Thu, 27 Oct 2011 18:18:05 +0800

前言
今天看到这篇文章，共鸣点非常多。它把Vim使用分为4个级别，目前我自己是熟练运用前面三级的命令，在培养习惯使用第四级。完全就是我这一年来坚持使用Vim的过程。所以不管怎么我要转载这篇文章。翻译自《Learn Vim Progressively》，原中文翻译出自《简明Vim练级攻略》。我进行了部分的排版工作，和文字删减以及所有图片本地化的工作。

Vim的学习曲线相当的大，所以，如果你一开始看到的是一大堆Vim的命令分类，你一定会对这个编辑器失去兴趣的。下面的文章我觉得这是给新手最好的Vim的升级教程了，没有列举所有的命令，只是列举了那些最有用的命令。非常不错。

Better, Stronger, Faster.

正文
你想以最快的速度学习人类史上最好的文本编辑器Vim吗？你先得懂得如何在Vim幸存下来，然后一点一点地学习各种用法。学习Vim并且其会成为你最后一个使用的文本编辑器。没有比这个更好的文本编辑器了，非常地难学，但是却不可思议地好用。
我建议下面这四个步骤：

存活

感觉良好

觉得更好，更强，更快

使用Vim的超能力

当你走完这篇文章，你会成为一个Vim的superstar，在开始学习以前，我需要给你一些警告：

学习Vim在开始时是痛苦的。

需要时间

需要不断地练习，就像你学习一个乐器一样。

不要期望你能在3天内把Vim练得比别的编辑器更有效率。

事实上，你需要2周时间的苦练，而不是3天。

第一级存活
安装并启动Vim，什么也别干！请先阅读。当你安装好一个编辑器后，你一定会想在其中输入点什么东西，然后看看这个编辑器是什么样子。但Vim不是这样的，请按照下面的命令操作：

启动Vim后，Vim在 Normal 模式下。

让我们进入 Insert 模式，请按下键 i 。

此时，你可以输入文本了，就像你用“记事本”一样。

如果你想返回 Normal 模式，请按 ESC 键。

现在，你知道如何在Insert和Normal模式下切换了。下面是一些命令，可以让你在Normal模式下幸存下来：

i → Insert 模式，按 ESC 回到 Normal 模式.

x → 删当前光标所在的一个字符。

:wq → 存盘 + 退出 (:w 存盘, :q 退出)

dd → 删除当前行，并把删除的行存到剪贴板里

p → 粘贴剪贴板

Memcached的LRU算法

kimi — Wed, 26 Oct 2011 13:00:11 +0800

题外话
最近计划对Memcached做一些尝试性的改造，主要是针对Memcached在处理过期数据的时候进行改造，以实现在一个缓存的过期时间达到的时候，可以对该缓存的数据进行一个验证和存储的处理。

这个需求，主要是为了解决MySQL的写入瓶颈，通过延期、合并写入请求来减少MySQL的并发写入量。现在逐渐记录出来和有需要的朋友一起讨论。当然，今天的主要内容是关于LRU的部分。

LRU算法
LRU是Least Recently Used最近最少使用算法。源于操作系统使用的一种算法，对于在内存中但最近又不用的数据块叫做LRU，操作系统会将那些属于LRU的数据移出内存，从而腾出空间来加载另外的数据。

我们来看Memcached（版本 1.4.9）的相关代码：

/* expires items that are more recent than the oldest_live setting. */
void do_item_flush_expired(void) {
    int i;
    item *iter, *next;
    if (settings.oldest_live == 0)
        return;
    for (i = 0; i < LARGEST_ID; i++) {
        /* The LRU is sorted in decreasing time order, and an item's timestamp
         * is never newer than its last access time, so we only need to walk
         * back until we hit an item older than the oldest_live time.
         * The oldest_live checking will auto-expire the remaining items.
         */
        for (iter = heads[i]; iter != NULL; iter = next) {
            if (iter->time >= settings.oldest_live) {
                next = iter->next;
                if ((iter->it_flags & ITEM_SLABBED) == 0) {
                    do_item_unlink(iter);
                }   
            } else {
                /* We've hit the first old item. Continue to the next queue. */
                break;
            }   
        }   
    }   
}

属于LRU的item是被时间逆序排序了，一个item的失效时间应该是永远比它自身上次被访问的时间大。所以在找到一个item的失效时间比oldest_live这个时间小之前，我们只需要把已经逆序排序的item继续往结尾遍历即可，一旦找到这个item，其他剩余的item也就可以判定为过期了。

如何改动？
我们的思路是让Memcached来作为MySQL的中间承接方，其实LRU算法并不是最适合。列举两种方案：

继续采用LRU算法，我们需要对Memcached进行改造的是do_item_flush_expired这个函数的执行频度，同时改造do_item_unlink函数来适应需求。
改用FIFO（先入先出）算法，彻底放弃Memcachd的整个过期处理机制或者另外添加一个FIFO算法序列，来专门为我们的业务需要服务。

为什么写这篇文章？
想写出来和大家一起讨论，看有没有其他的一些更好的用来解决MySQL写入并发的方案。