Recently in 操作系统 Category

【原理】

现在互联网公司使用的都是多CPU（多核）的服务器了，Linux操作系统会自动把任务分配到不同的处理器上，并尽可能的保持负载均衡。那Linux内核是怎么做到让各个CPU的压力均匀的呢？

做一个负载均衡机制，重点在于：

1. 何时检查并调整负载情况？

2. 如何调整负载？

先看第一个问题。

如果让我这样的庸俗程序员来设计，我第一个想到的就是每隔一段时间检查一次负载是否均衡，不均则调整之，这肯定不是最高效的办法，但肯定是实现上最简单的。实际上，2.6.20版linux kernel的确使用软中断来定时调整多CPU上的压力（调用函数run_rebalance_domains），每秒1次。

但每秒一次还是不能满足要求，对很多应用来说，1秒太长了，一秒钟内如果发生负载失衡对很多web应用都是不能接受的，何况其他实时应用。最好kernel能够紧跟进程的变化来调整。

那么，好，我们在进程创建和进程exit的时候检查并调整负载呢？可以，但是不完整，一个进程创建以后如果频繁的睡眠、醒来、睡眠、醒来，它这样折腾对CPU的负载是有影响的，你就不管它了吗？说到底，我们其实关注的是进程是否在使用CPU，而不是它是否诞生了。所以，我们应该在进程睡眠和醒来这两个时间点检查CPU们的负载。

再看第二个问题，怎么调整负载呢？从最繁忙的那个CPU上挪一个进程到最闲的那个CPU上，如果负载还不均衡，就再挪一个进程，如果还不均衡，继续挪....这也是个最笨的方法，但它却真的是linux CPU负载均衡的核心，不过实际的算法在此基础上有很多细化。对于Intel的CPU，压缩在同一个chip上的多核是共享同一个L2的（如下图，里面的一个Processor其实就是一个chip），如果任务能尽可能的分配在同一个chip上，L2 cache就可以继续使用，这对运行速度是有帮助的。所以除非“很不均衡”，否则尽量不要把一个chip上的任务挪到其他chip上。

于是，为了应对这种CPU core之间的异质性??在不同的core之间迁移任务，代价不同??Linux kernel引入了sched_domain和sched_group的概念。sched_domain和sched_group的具体原理，可参考刘勃的文章和英文资料。

【代码剖析】

SMP负载均衡检查或调整在两个内核函数里发生：

1. schedule（）。当进程调用了sleep、usleep、poll、epoll、pause时，也就是调用了可能睡去的操作时都会转为内核代码里对schedule()函数的调用。

2. try_to_wake_up() 。说白了就是进程刚才睡了，现在要醒来，那醒来以后跑在哪个CPU上呢？这个选择CPU的过程，也就是负载均衡的过程。

我们先看schedule（）的代码，我们忽略函数前面那些和负载均衡无关的代码（本文代码以内核2.6.20版为准）：

[kernel/sched.c --> schedule() ]

QEMU 和bochs严格意义上说不是虚拟机，是“模拟机”，他们把guest os执行的指令由软件来解析执行（软CPU），而xen一类的虚拟机是把指令交给CPU（真正的CPU）来执行。模拟比虚拟慢，但更灵活，在单cpu的机 器上可以模拟多CPU的环境，这是xen做不到的。

05年的时候我就试用过bochs，觉得还不错。但这次用它来装rhel as4 超级慢，配置网络也费了半天劲。于是改用QEMU，发觉确实比bochs好：

1. 速度比bochs快

2. 不用配置文件，命令行很方便

3. 配置网络更方便

4. 自带vncserver，远程访问方便

5. 更妙的是，QEMU可以直接使用bochs生成的虚拟硬盘文件，平滑迁移

6. 最近还听说kvm和QEMU配合威力巨大，不过资源有限，没来得及尝试

只用一行就启动了一个64位、4CPU的模拟机器，还启动了vnc和ne2000的模拟网卡：

qemu-system-x86_64 -smp 4 -m 1G -hda rhel4_x86.img -vnc localhost:0 -net nic,model=ne2k_pci -net user

Xen是通过修改内核代码实现的，所以很多在xen上测试通过的驱动换到真实机器上却不能工作了。

对于驱动开发，还是QEMU搭个虚拟机比较好。

=== 2010.3.25 ===

QEMU从0.12系列开始就不再支持kqemu，我估计自己做了优化，因为我看0.12的速度还行。

装了KVM以后，QEMU不再只是单进程单CPU，而是可以用上多个CPU，速度当然更快，但是配了KVM后也有副作用：不再是模拟，而是虚拟，虚拟机的问题会影响到主机。

我在KVM+QEMU的虚拟机上跑了个错误的驱动，最后不仅这台虚拟机，连主机都挂了。

=== 2010.4.20 ===

发现QEMU有个缺陷：我装完了虚拟系统，想加一块虚拟硬盘，于是qemu-img create了一个5G的文件，然后 -hdb 设为第二块硬盘，但是进入虚拟系统以后，不管我怎么fdisk，它就是认为这块新硬盘只有1G （我的虚拟系统是rhel5，不应该是OS的问题）。

作者：董昊 （要转载的同学帮忙把名字和博客链接http://donghao.org/uii/带上，多谢了！)

linux 上，进程退出会自动flush文件，自动close fd，自动释放占用的内存空间，等等，这些我们都知道了，不用管它。设想我们有个应用，进程退出前要做一个删除文件的操作，但是万一这个进程被别人 kill了或者自己coredump了，那这个操作就完不成了，怎么办？

不要再拘泥于OS之上的应用程序了！我们做一个虚拟设备解决这个问题：做一个miscdevice，然后实现它file_operations里的flush方法，在里面加上删文件的操作。在启动应用进程时打开这个miscdevice，然后，不管什么情况，只要该进程挂了，就会调用flush（这是linux kernel做的，dirver不用实现），而flush就会执行删除文件的操作（这是要自己写到驱动里）。

下面是代码示例：

int sample_flush(struct file* file)

{

    down(&inode_mutex);

    if (file)

    {

        atomic_inc(&file->f_count);

        if (file->f_dentry)

        {

            dget(file->f_dentry)

            node = file->f_dentry->d_inode;

            if (node)

            {

                atomic_inc(&node->i_count);

                if (node->i_nlink)

                {

                    parent = file->f_dentry->d_parent;

                    if (!IS_ERR(file->f_dentry))

                    {

                        if (parent->d_inode)

                            vfs_unlink(parent->d_inode, file->f_dentry);

                    }

                }

                iput(node);

            }

            dput(file->f_dentry);

        }

        atomic_dec(&file->f_count);

    }

    up(&inode_mutex);

}

struct file_operations sample_fops =

{

    .flush = sample_flush;

}

很多人会被上面的代码搞晕：这么如此多的get/put和down/up？没办法，这就是内核代码，要应付各种数据结构的引用记数，还要应付多核，真正核心的其实只有这个vfs_unlink而已。

这只是个例子，flush能做的不仅是删个文件，还可以断个连接，发个邮件，躲个猫猫......OS能做的它都能做，当然，驱动也要靠硬件运转，如果机器直接宕机，那这个操作肯定是做不了。