Mysql on ZRJ | 学习笔记

postgresql 迁移数据到 MySQL

Wed, 31 Jul 2019 20:52:30 +0800

最近在搞 tidb，想找个方法往 MySQL 协议中快速写入数据，在 postgresql 下有 copy，找了下，MySQL 下也有 load data，其本质也是一个 insert，看到这里 https://blog.csdn.net/seven_3306/article/details/9237495 有一个思路是不走落地文件，挖坑待填

===========

2019-9-4 回来填坑了，具体的方法如下

public static InputStream getPostgresqlInputStream(final String ds) throws SQLException,
        ClassNotFoundException, IOException {
    final PipedOutputStream os = new PipedOutputStream();
    Class.forName("org.postgresql.Driver");
    (new Thread() {
        @Override
        public void run() {
            Connection connection = null;
            try {
                connection = DriverManager.getConnection(
                        "jdbc:postgresql://...",
                        "...", "...");
                CopyManager cm = new CopyManager(
                        (BaseConnection) connection);                
                String COPY_CMD = "COPY (select ... from ... where ds between "+ds+"01 and "+ds+"31 ) to STDOUT";
                @SuppressWarnings("unused")
                long affectedRowCount = cm.copyOut(COPY_CMD, os);
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                if (connection != null) {
                    try {
                        connection.close();
                    } catch (SQLException e) {
                        e.printStackTrace();
                    }
                }
            }
            try {
                os.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }).start();
    PipedInputStream in = new PipedInputStream();
    in.connect(os);
    return in;
}

public static void threadTransfer(boolean fromTpgOrFromFile, String ds, String csvFile) throws SQLException, ClassNotFoundException, IOException {
    Class.forName("com.mysql.jdbc.Driver");
    String localConnectionUrl = "jdbc:mysql://...";
    
    Random randomizer = new Random();
    java.util.List<String[]> random_pool = new ArrayList<String[]>();
    random_pool.add(new String[]{"..."});
    String[] randomRow1 = random_pool.get(randomizer.nextInt(random_pool.size()));
    System.out.println(randomRow1[0]);
    
    String tidbConnectionUrl = "jdbc:mysql://" + randomRow1[0] + ":4000/...?useSSL=false&characterEncoding=UTF-8";
    Connection conn = DriverManager.getConnection(tidbConnectionUrl, "root", "");
    conn.prepareStatement("set @@tidb_batch_delete = ON;").execute();
    conn.prepareStatement("set @@tidb_batch_insert = ON;").execute();
    if (fromTpgOrFromFile) {
        String loadDataSql = "LOAD DATA LOCAL INFILE 'sql.csv' IGNORE INTO TABLE ...";
        PreparedStatement statement = (PreparedStatement) conn
                .prepareStatement(loadDataSql);
        statement.setLocalInfileInputStream(getPostgresqlInputStream(ds));
        int result = statement.executeUpdate();
        System.out.println(result);
    } else {
        String loadDataSql = "LOAD DATA LOCAL INFILE 'sql.csv' IGNORE INTO TABLE ... FIELDS ENCLOSED BY '\"' TERMINATED BY ',' LINES TERMINATED BY '\n' IGNORE 1 LINES ;";
        PreparedStatement statement = (PreparedStatement) conn
                .prepareStatement(loadDataSql);
        statement.setLocalInfileInputStream(new FileInputStream("/data/my_database/...." + csvFile + ".csv"));
        int result = statement.executeUpdate();
        System.out.println(result);
    }
    System.out.println(System.currentTimeMillis());
}

MySQL 8 测试

Fri, 28 Dec 2018 22:12:11 +0800

说 MySQL 8 的性能比 MySQL 5.7 性能提高了 2 倍，又，自己很久没用过 MySQL 了，于是想着试试

首先需要解决 CentOS 6 上安装的问题，看到这个文章， https://www.tecmint.com/install-latest-mysql-on-rhel-centos-and-fedora/

这里介绍的是通过 yum 源的方式来安装的，但是这个方式不太行，内网的网络限制了，于是只能走预先下载 rpm 包的方式来了

一共需要这几个包：

mysql-community-server-8.0.13-1.el6.x86_64.rpm mysql-community-client-8.0.13-1.el6.x86_64.rpm mysql-community-common-8.0.13-1.el6.x86_64.rpm mysql-community-libs-8.0.13-1.el6.x86_64.rpm

通过 rpm -ivh 来安装

rpm -ivh mysql-community-common-8.0.13-1.el6.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.13-1.el6.x86_64.rpm
rpm -ivh mysql-community-client-8.0.13-1.el6.x86_64.rpm

安装到 client 的时候报错，说

Preparing...                ########################################### [100%]
	file /usr/bin/mysql from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/bin/mysqladmin from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/bin/mysqlbinlog from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/bin/mysqlcheck from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/bin/mysqldump from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/bin/mysqlimport from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/bin/mysqlshow from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/bin/mysqlslap from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/share/man/man1/mysql.1.gz from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/share/man/man1/mysqladmin.1.gz from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/share/man/man1/mysqldump.1.gz from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/share/man/man1/mysqlshow.1.gz from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/share/man/man1/mysqlslap.1.gz from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-5.1.71-1.el6.x86_64
	file /usr/share/man/man1/mysqlbinlog.1.gz from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-server-5.1.71-1.el6.x86_64
	file /usr/share/man/man1/mysqlcheck.1.gz from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-server-5.1.71-1.el6.x86_64
	file /usr/share/man/man1/mysqlimport.1.gz from install of mysql-community-client-8.0.13-1.el6.x86_64 conflicts with file from package mysql-server-5.1.71-1.el6.x86_64

感觉是要卸载掉机上旧的 MySQL 版本才行

yum -y remove mysql-5.1.71*
yum -y remove mysql-server-5.1.71*
yum -y remove mysql-libs-5.1.71*

又，每次执行 yum 总是试着连 aliyun 的源，但是又 Timeout，于是得把这个源干掉才行

[root@localhost etc]# mkdir yum-bak
[root@localhost etc]# mv yum.repos.d/* yum-bak/

最后安装 server

rpm -ivh mysql-community-server-8.0.13-1.el6.x86_64.rpm

装好了，就得启动起来

[root@localhost ~]# service mysqld start
Initializing MySQL database:                               [FAILED]

发现挂了。。。但是再试一次，就好了。。

[root@localhost ~]# service mysqld start
Starting mysqld:                                           [  OK  ]

然后要看下自动生成的临时密码

[root@localhost ~]# grep 'temporary password' /var/log/mysqld.log
2018-12-28T12:51:28.990464Z 5 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: drC&dCOp0tep

然后用 mysql_secure_installation 来进行一些安全的初始化，在这个过程中会要求你重置自己的 MySQL 密码

最终，终于能连上了

[root@localhost ~]#  mysql -u root -p
mysql> select version();
+-----------+
| version() |
+-----------+
| 8.0.13    |
+-----------+
1 row in set (0.00 sec)

然后新建用户

CREATE USER 'testuser'@'%' IDENTIFIED BY '123456@Test';
GRANT ALL ON *.* TO 'testuser'@'%';

但是连接的时候报错，需要重新指定一个简单的密码加密方式：

ALTER USER 'testuser'@'%' IDENTIFIED WITH mysql_native_password BY '123456@Test';

压测使用的是 sysbench-1.0.9-2.el6.x86_64.rpm

安装的时候又是报错一堆依赖，没办法，还是得走 yum repo 源的路子，通过 mount -t auto /dev/cdrom /mnt/cdrom 挂上去一个 iso 文件，然后参考这里， https://blog.csdn.net/Post_Yuan/article/details/79455379 ，把这个 iso 源作为一个 yum repo 源

cd /etc/yum.repos.d
vi local.repo
--内容如下
[local]
name=local
#注：这里的baseurl就是你挂载的目录，在这里是/mnt/cdrom
baseurl=file:///mnt/cdrom    
#注：这里的值enabled一定要为1  
enabled=1                    
gpgcheck=0
#注：这个你cd /mnt/cdrom/可以看到这个key，这里仅仅是个例子
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-CentOS-5

好不容易折腾好这个 lcoal 的 yum repo，但是悲催的是，这个 repo 里面没有 sysbench 这个东西

看到这里， https://www.jianshu.com/p/7a80898c6866 先安装一下依赖

yum -y install  make automake libtool pkgconfig libaio-devel vim-common

但是尝试 rpm -ivh sysbench-1.0.9-2.el6.x86_64.rpm 的时候依然不行，看到这里， http://www.cnblogs.com/zhoujinyi/archive/2013/04/19/3029134.html 试下自己编译

自己编译也是跪，最终还是看到这里， https://linuxtechlab.com/benchmark-linux-systems-install-sysbench-tool/ 设置了一个源，但是依然报错

Transaction Check Error:
  file /etc/my.cnf from install of mysql-libs-5.1.73-8.el6_8.x86_64 conflicts with file from package mysql-community-server-8.0.13-1.el6.x86_64

真是被搞烦了，于是再开一个虚拟机

待续

MySQL 响应缓慢

Sat, 10 Dec 2016 11:17:40 +0800

今天在 navicat 中发现 mysql 很卡，本着重启试试的原则，先重启试试，于是先 service mysql stop，但是发现停服务也停半天，看日志发现一个问题

2016-12-10 10:53:30 2411 [Note] InnoDB: Waiting for purge thread to be suspended
2016-12-10 10:54:30 2411 [Note] InnoDB: Waiting for purge thread to be suspended
2016-12-10 10:55:30 2411 [Note] InnoDB: Waiting for purge thread to be suspended
2016-12-10 10:56:31 2411 [Note] InnoDB: Waiting for purge thread to be suspended
2016-12-10 10:57:31 2411 [Note] InnoDB: Waiting for purge thread to be suspended

这个过程持续了大约 10 分钟，终于才关掉，查了一下，看到一些说明，例如，http://m.blog.chinaunix.net/uid-20776139-id-5718603.html，https://www.percona.com/blog/2010/09/02/how-long-innodb-shutdown-may-take/，https://bugs.mysql.com/bug.php?id=58868，发现这个过程还不能强断，不然的话启动起来还要修复

PS，看看人家，连日志都这么有文采

2016-12-10 10:52:28 2411 [Note] Giving 34 client threads a chance to die gracefully
2016-12-10 10:52:28 2411 [Note] Event Scheduler: Purging the queue. 0 events
2016-12-10 10:52:28 2411 [Note] Shutting down slave threads
2016-12-10 10:52:30 2411 [Note] Forcefully disconnecting 29 remaining clients

MySQL 大量 insert 操作的效率优化

Tue, 15 Jan 2013 13:27:52 +0800

最近在重写 szucal 的爬虫，之前的爬虫是用 MFC 写的，虽然速度不错，但是写起来很麻烦，不便于交给他人维护，这次看中 PHP 的函数封装得好，很多东西直接拿来就可以用，于是就选了 PHP 来写，初步写完之后，尝试着跑了一下，发现效率惨不忍睹，把 PHP 脚本的时间 set_time_limit(10) 跑了一下得到下面的结果

mysql> show table status\G
*************************** 1. row ***************************
           Name: course
         Engine: InnoDB
        Version: 10
     Row_format: Compact
           Rows: 3
 Avg_row_length: 5461
    Data_length: 16384
Max_data_length: 0
   Index_length: 0
      Data_free: 27262976
 Auto_increment: 4
    Create_time: 2013-01-14 22:33:03
    Update_time: NULL
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 2. row ***************************
           Name: course_time_location
         Engine: InnoDB
        Version: 10
     Row_format: Compact
           Rows: 6
 Avg_row_length: 2730
    Data_length: 16384
Max_data_length: 0
   Index_length: 0
      Data_free: 27262976
 Auto_increment: 7
    Create_time: 2013-01-14 22:33:03
    Update_time: NULL
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 3. row ***************************
           Name: log
         Engine: InnoDB
        Version: 10
     Row_format: Compact
           Rows: 8
 Avg_row_length: 2048
    Data_length: 16384
Max_data_length: 0
   Index_length: 0
      Data_free: 27262976
 Auto_increment: 9
    Create_time: 2013-01-14 22:33:03
    Update_time: NULL
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 4. row ***************************
           Name: stu
         Engine: InnoDB
        Version: 10
     Row_format: Compact
           Rows: 85
 Avg_row_length: 192
    Data_length: 16384
Max_data_length: 0
   Index_length: 0
      Data_free: 27262976
 Auto_increment: 86
    Create_time: 2013-01-14 22:33:03
    Update_time: NULL
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 5. row ***************************
           Name: stu_course
         Engine: InnoDB
        Version: 10
     Row_format: Compact
           Rows: 86
 Avg_row_length: 190
    Data_length: 16384
Max_data_length: 0
   Index_length: 0
      Data_free: 27262976
 Auto_increment: 87
    Create_time: 2013-01-14 22:33:03
    Update_time: NULL
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
5 rows in set (0.00 sec)

mysql>

可以看到 10 秒钟下来，才处理了 3 页课程名单表，插入了 80 多个学生数据，以及 80 条选课关系，这么估算下来，深大一个学期大约有 4000 门课程，一门课程 3 秒的话，就是 3 个多小时，这个效率肯定是无法接受的，因为我原来的 MFC 爬虫爬完全部数据也才只需要 5 到 10 分钟。

出现了问题，于是就开始想是网络拉取数据那里慢了，还是数据库写入数据那里慢了，简单实验了一下，把封装的数据库类的写入函数注释掉，关掉了写入数据的部分，再跑了一下，发现下载全部数据并解析好只需要 8 分多钟，那么明显就是在 insert 数据的时候效率低下了。

搜了一下，看到这里，http://fred.oracle1.com/weblog/2010/09/08/mysql%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%9617-insert%E6%93%8D%E4%BD%9C%E7%9A%84%E4%BC%98%E5%8C%96/

执行 INSERT 操作的时候，可以考虑使用以下的方式优化 SQL 的执行效率：

如果你同时从同一客户插入很多行，使用多个值表的 INSERT 语句。这比使用分开 INSERT 语句快。 Insert into test values(1,2),(1,3),(1,4) … 如果你从不同客户插入很多行，能通过使用 INSERT DELAYED 语句得到更高的速度。 Delayed的含义是让 INSERT 语句马上执行，其实数据都被放在内存的队列中，并没有真正写入磁盘；这比每条语句分别插入要快的多； LOW_PRIORITY 刚好相反，在所有其他用户对表的读写完后才进行插入；将索引文件和数据文件分在不同的磁盘上存放；如果进行批量插入，可以增加 bulk_insert_buffer_size 变量值的方法来提高速度，但是，这只能对 MyISAM 表使用；当从一个文本文件装载一个表时，使用 LOAD DATA INFILE。这通常比使用很多 INSERT 语句快 20 倍；根据应用情况使用 REPLACE 语句代替 INSERT ；根据应用情况使用 IGNORE 关键字忽略重复记录。

有提到在一行当中并着写入多个 values 的，这个其实我之前的 MFC 爬虫就是这样的，因为 MFC 连接 MySQL 不方便，所以当时我的做法就是根据 MySQL 的导入导出文件的格式，在爬取数据的时候，自己生成一份格式相仿的导入文件，等到爬虫跑完了，再把那份文件导入到数据库中去，但是在这次的 PHP 中，如果要这么做，其实是不方便的，再看到后面有说使用 delayed 的，于是试了一下，查到这里，http://www.uml.org.cn/sjjm/201108293.asp

一、DELAYED 的使用

使用延迟插入操作DELAYED调节符应用于INSERT和REPLACE语句。当DELAYED插入操作到达的时候，服务器把数据行放入一个队列中，并立即给客户端返回一个状态信息，这样客户端就可以在数据表被真正地插入记录之前继续进行操作了。如果读取者从该数据表中读取数据，队列中的数据就会被保持着，直到没有读取者为止。

接着服务器开始插入延迟数据行（delayed-row）队列中的数据行。在插入操作的同时，服务器还要检查是否有新的读取请求到达和等待。如果有，延迟数据行队列就被挂起，允许读取者继续操作。当没有读取者的时候，服务器再次开始插入延迟的数据行。这个过程一直进行，直到队列空了为止。

几点要注意事项：

INSERT DELAYED应该仅用于指定值清单的INSERT语句。服务器忽略用于INSERT DELAYED…SELECT语句的DELAYED。服务器忽略用于INSERT DELAYED…ON DUPLICATE UPDATE语句的DELAYED。

因为在行被插入前，语句立刻返回，所以您不能使用LAST_INSERT_ID()来获取AUTO_INCREMENT值。AUTO_INCREMENT值可能由语句生成。

对于SELECT语句，DELAYED行不可见，直到这些行确实被插入了为止。

DELAYED在从属复制服务器中被忽略了，因为DELAYED不会在从属服务器中产生与主服务器不一样的数据。注意，目前在队列中的各行只保存在存储器中，直到它们被插入到表中为止。这意味着，如果您强行中止了mysqld(例如，使用kill -9)或者如果mysqld意外停止，则所有没有被写入磁盘的行都会丢失。

另外由于 delayed 用法只能在 MyISAM 中支持，所以先把数据引擎从 InnoDB 换成 MyISAM，换过来之后，先跑一个 10 秒的测试

mysql> show table status\G
*************************** 1. row ***************************
           Name: course
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 104
 Avg_row_length: 148
    Data_length: 15404
Max_data_length: 281474976710655
   Index_length: 4096
      Data_free: 0
 Auto_increment: 105
    Create_time: 2013-01-15 11:53:59
    Update_time: 2013-01-15 11:54:53
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 2. row ***************************
           Name: course_time_location
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 155
 Avg_row_length: 43
    Data_length: 6756
Max_data_length: 281474976710655
   Index_length: 4096
      Data_free: 0
 Auto_increment: 156
    Create_time: 2013-01-15 11:53:59
    Update_time: 2013-01-15 11:54:53
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 3. row ***************************
           Name: log
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 114
 Avg_row_length: 137
    Data_length: 15680
Max_data_length: 281474976710655
   Index_length: 4096
      Data_free: 0
 Auto_increment: 115
    Create_time: 2013-01-15 11:53:59
    Update_time: 2013-01-15 11:54:53
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 4. row ***************************
           Name: stu
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 1901
 Avg_row_length: 51
    Data_length: 97468
Max_data_length: 281474976710655
   Index_length: 21504
      Data_free: 0
 Auto_increment: 1902
    Create_time: 2013-01-15 11:53:59
    Update_time: 2013-01-15 11:54:53
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 5. row ***************************
           Name: stu_course
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 5499
 Avg_row_length: 31
    Data_length: 170520
Max_data_length: 281474976710655
   Index_length: 57344
      Data_free: 0
 Auto_increment: 5500
    Create_time: 2013-01-15 11:53:59
    Update_time: 2013-01-15 11:54:53
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
5 rows in set (0.00 sec)

mysql>

惊讶的看到，只是简单的换了一个引擎，没有改动代码，就可以得到如此之高的效率提升，10 秒钟处理的课程量达到了 104 门，写入了 1901 个学生的信息和 5499 条选课关系，这么算的话，4000 门课程只需要 400 秒左右，下面试一下使用 delayed，注意到代码中有一个地方是写入学生信息数据的，在写入一个学生之前，要先 select 一下，但是使用了 delayed 之后，就会导致 select 的结果不准确，于是需要使用 ignore，看这里，http://www.uml.org.cn/sjjm/201108293.asp

二、IGNORE的使用

IGNORE是MySQL相对于标准SQL的扩展。如果在新表中有重复关键字，或者当STRICT模式启动后出现警告，则使用IGNORE控制ALTER TABLE的运行。

如果没有指定IGNORE，当重复关键字错误发生时，复制操作被放弃，返回前一步骤。

如果指定了IGNORE，则对于有重复关键字的行，只使用第一行，其它有冲突的行被删除。并且，对错误值进行修正，使之尽量接近正确值。insert ignore into tb(…) value(…)这样不用校验是否存在了，有则忽略，无则添加。

原来的代码是这样的

// 写入学生表之前先检查是否存在			
$query = "select * from $t_stu where stu_id = ?";
$dbr = $this->db->query($query, $stu_id);
if (count($dbr) == 0) {
	// 不存在该学生的信息
	$query = "insert delayed into $t_stu (stu_id, stu_name, sex, class) values (?, ?, ?, ?)";
	$this->db->query($query, array($stu_id, $stu_name, $sex, $class));
}

修改之后代码变成这样

// 写入学生表	
$query = "insert delayed ignore into $t_stu (stu_id, stu_name, sex, class) values (?, ?, ?, ?)";
$this->db->query($query, array($stu_id, $stu_name, $sex, $class));

跑一个 10 秒测试的结果如下

mysql> show table status\G
*************************** 1. row ***************************
           Name: course
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 171
 Avg_row_length: 150
    Data_length: 25812
Max_data_length: 281474976710655
   Index_length: 4096
      Data_free: 0
 Auto_increment: 172
    Create_time: 2013-01-15 12:46:53
    Update_time: 2013-01-15 12:47:11
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 2. row ***************************
           Name: course_time_location
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 224
 Avg_row_length: 42
    Data_length: 9456
Max_data_length: 281474976710655
   Index_length: 5120
      Data_free: 0
 Auto_increment: 225
    Create_time: 2013-01-15 12:46:53
    Update_time: 2013-01-15 12:47:11
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 3. row ***************************
           Name: log
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 181
 Avg_row_length: 139
    Data_length: 25292
Max_data_length: 281474976710655
   Index_length: 4096
      Data_free: 0
 Auto_increment: 182
    Create_time: 2013-01-15 12:46:53
    Update_time: 2013-01-15 12:47:01
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 4. row ***************************
           Name: stu
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 9259
 Avg_row_length: 50
    Data_length: 465700
Max_data_length: 281474976710655
   Index_length: 97280
      Data_free: 0
 Auto_increment: 9260
    Create_time: 2013-01-15 12:46:53
    Update_time: 2013-01-15 12:47:11
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 5. row ***************************
           Name: stu_course
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 9259
 Avg_row_length: 31
    Data_length: 287164
Max_data_length: 281474976710655
   Index_length: 97280
      Data_free: 0
 Auto_increment: 9260
    Create_time: 2013-01-15 12:46:53
    Update_time: 2013-01-15 12:47:11
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
5 rows in set (0.00 sec)

mysql>

可以看到速度依然能够有所提升，10 秒钟写入了 170 门课和 9200 多个学生信息以及 9200 多条选课记录，不过这里可以注意到学生信息的条数应该是出了问题的，核查数据也确实可以发现学生信息发生了重复，那么试试对 stu_id 建一个索引

ALTER TABLE  `stu` ADD UNIQUE (`stu_id`)

再跑一个测试

mysql> show table status\G
*************************** 1. row ***************************
           Name: course
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 160
 Avg_row_length: 148
    Data_length: 23752
Max_data_length: 281474976710655
   Index_length: 4096
      Data_free: 0
 Auto_increment: 161
    Create_time: 2013-01-15 13:22:06
    Update_time: 2013-01-15 13:22:59
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 2. row ***************************
           Name: course_time_location
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 213
 Avg_row_length: 42
    Data_length: 9060
Max_data_length: 281474976710655
   Index_length: 5120
      Data_free: 0
 Auto_increment: 214
    Create_time: 2013-01-15 13:22:06
    Update_time: 2013-01-15 13:22:59
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 3. row ***************************
           Name: log
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 170
 Avg_row_length: 139
    Data_length: 23684
Max_data_length: 281474976710655
   Index_length: 4096
      Data_free: 0
 Auto_increment: 171
    Create_time: 2013-01-15 13:22:06
    Update_time: 2013-01-15 13:22:59
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 4. row ***************************
           Name: stu
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 2620
 Avg_row_length: 50
    Data_length: 132944
Max_data_length: 281474976710655
   Index_length: 82944
      Data_free: 0
 Auto_increment: 2621
    Create_time: 2013-01-15 13:22:14
    Update_time: 2013-01-15 13:22:59
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
*************************** 5. row ***************************
           Name: stu_course
         Engine: MyISAM
        Version: 10
     Row_format: Dynamic
           Rows: 8740
 Avg_row_length: 31
    Data_length: 271792
Max_data_length: 281474976710655
   Index_length: 92160
      Data_free: 0
 Auto_increment: 8741
    Create_time: 2013-01-15 13:22:06
    Update_time: 2013-01-15 13:22:59
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
5 rows in set (0.00 sec)

mysql>

效率稍有下降，160 多门课程名单，2600 多个学生信息以及 8700 多条选课关系，不过这样起码保证了学生信息的唯一性。

最后附上一些官方文档，INSERT语句的速度，http://dev.mysql.com/doc/refman/5.1/zh/optimization.html#insert-speed，INSERT Syntax，http://dev.mysql.com/doc/refman/5.5/en/insert.html，INSERT DELAYED Syntax，http://dev.mysql.com/doc/refman/5.1/en/insert-delayed.html，另外，还有一个据说效率更高的 load data infile 用法，但是这个是适用于从文件中读入数据的，LOAD DATA INFILE语法，http://dev.mysql.com/doc/refman/5.1/zh/sql-syntax.html#load-data

ibdata1 文件空间的释放

Tue, 08 Jan 2013 10:50:54 +0800

ibdata1 是 InnoDB 引擎产生的数据文件，他有一个特点就是当我们把数据表中的数据删除之后，他的文件大小是不会缩小回去，占据的磁盘空间是不释放的，查了一下资料，说是这部分的磁盘空间在我们删除数据行之后，依然是由 InnoDB 的引擎管理的，这样做的好处就是下次需要再次 insert 数据的时候，他可以不用向操作系统申请，这个设计让人想起了 PHP 的脚本引擎在内存管理上的策略，也是类似的，当我们需要向 PHP 引擎要一块内存的时候，他代我们向操作系统要，但是我们用完之后释放这块内存的时候，PHP 引擎却不会立刻把这片内存释放掉，而是继续管理，这样的好处也是说在下次需要使用的时候可以不用频繁的向操作系统申请。

应该说这种策略的出发点是好的，但是，我们的磁盘空间是有限的啊，没办法，只能找些奇门异术来释放磁盘空间了，找到这里，http://holy2010.blog.51cto.com/1086044/480671

错误方法一：导入数据库后，只是数据库test增大了而已，ibdata1还是默认的11M 1、只删除ibdata1或则ib_logfile0和ib_logfile1 2、重启Mysql服务器 service mysqld restart 3、创建数据库test，导入备份的数据以上的的结果虽然数据没有丢失，但不应用这样的做法正确方法：ibdata1、ib_logfile同时删除，ibdata才能正常储存数据，重启mysql服务错误方法二：不对数据库备份，直接就为了瘦身ibdata1而删除ibdata1就会导致整个数据丢失正确方法：停止mysql服务，再备份数据库，再删除ibdata1和ib_logfile，重启mysql服务，再导入备份

我的做法是把数据引擎从 InnoDB 换成 MyISAM，然后删除了他这些文件，总算腾出点位置了

题外话，使用这个命令

reset master;

可以清除日志文件，也能腾出可观的磁盘空间

使用 C 操作 MySQL 时的转义

Thu, 27 Dec 2012 13:57:31 +0800

翻阅了一下文档，C 的 API 操作 MySQL 的时候没有参数化查询的接口，于是就简单的做一个转义，其实照着官方文档，很简单，直接附上代码

#include <stdio.h>
#include <Windows.h>
#include "mysql.h"

#define TMP_SIZE 256
#define T_SIZE 1024
#define QUERY_SIZE 4096

int insert_record() {
	// define consts
	const char db_user[] = "root";
	const char db_pwd[] = "root";
	const char db_host[] = "localhost";
	const char db_name[] = "twitter";
	unsigned int db_port = 3306;

	// define mysql vars
	MYSQL mysql;
	MYSQL_RES *mysql_res;
	MYSQL_ROW mysql_row;
	MYSQL_FIELD *mysql_field;
	char tmp[TMP_SIZE][TMP_SIZE];

	mysql_init(&mysql);
	if (mysql_real_connect(&mysql, db_host, db_user, db_pwd,
		db_name, db_port, NULL, 0) == NULL) {
			printf("connect failed: %s\n", mysql_error(&mysql));
			return -1;
	}
	mysql_set_character_set(&mysql, "utf8");

	FILE *file = fopen(
		"C:/tweets2009-06.txt", "r");
	char t_escape[T_SIZE], t_user[T_SIZE], 
		t_content[T_SIZE], t_time[T_SIZE];
	// read the total count line
	fgets(t_escape, T_SIZE, file);
	printf("%s\n", t_escape);	

	for (long long i=0; i<10000; i++) {
		// time line
		fgets(t_escape, T_SIZE, file);
		mysql_real_escape_string(&mysql, t_time, 
			t_escape+2, strlen(t_escape)-3);
		// user link line
		fgets(t_escape, T_SIZE, file);
		mysql_real_escape_string(&mysql, t_user, 
			t_escape+21, strlen(t_escape)-22);
		// content line
		fgets(t_escape, T_SIZE, file);
		mysql_real_escape_string(&mysql, t_content, 
			t_escape+2, strlen(t_escape)-3);
		// empty line
		fgets(t_escape, T_SIZE, file);

		char query[QUERY_SIZE] = {0};
		sprintf(query,
			"insert into t (user, content, time) \
			values ('%s', '%s', '%s')",
			t_user, t_content, t_time);
		//printf("%s\n", query);
		
		if (mysql_query(&mysql, query) != 0) {
			printf("query failed: %s\n", mysql_error(&mysql));
			mysql_close(&mysql);
			return -1;
		}
	}

	mysql_close(&mysql);
	return 0;
}

int main() {
	insert_record();
	return 0;
}

使用到的函数是这个，http://dev.mysql.com/doc/refman/5.1/zh/apis.html#mysql-real-escape-string

使用 C 操作 MySQL

Thu, 27 Dec 2012 12:40:50 +0800

最近在做一个 twitter 的数据分析，要导一些个数据到数据库中，数据量在亿行这个数量级，由于没什么经验，打算先搞个几百万或者千万行试试，在写导入的时候，由于贪图 PHP 和 MySQL 的无缝配合，所以拿着 PHP 就上了，结果发现效果惨不忍睹，效率完全没法满足需求，于是开始考虑转向 C，在网上搜罗了好一会，C 连接 MySQL 的文章倒是有不少，但是都不怎么清晰明了，直到看到这篇，http://www.cnblogs.com/lovebread/archive/2009/11/24/1609936.html

安装完MySQL之后，将安装目录中的include目录下的libmysql.lib文件拷到VS2008安装目录中的VC\lib\下，然后在项目-选项-c/c++-常规中的附加包含目录以及链接器-常规中的附加库目录中加入“c:\MySQL\include\”，并且在链接器-输入中的附加依赖项内添加“libmysql.lib”，这样即可使编译器找到mysql.h头文件，并可在程序中使用c语言的mysql API来操作数据库。（如果MySQL安装目录中无include目录，可到MySQL官网下载并安装MySQL connector for C，并修改include目录路径）

照着做很快就跑起来了，他的范例代码也很容易改动，稍微修改一下就可以在自己的电脑上运行，但是出于学习，还是自己写了一遍，函数的 API 文档可以参考这里，http://dev.mysql.com/doc/refman/5.1/zh/apis.html#mysql-store-result

#include
#include
#include "mysql.h"

#define TMP_SIZE 256

int select_record() {
	// define consts
	const char db_user[] = "root";
	const char db_pwd[] = "root";
	const char db_host[] = "localhost";
	const char db_name[] = "t";
	unsigned int db_port = 3306;

	// define mysql vars
	MYSQL mysql;
	MYSQL_RES *mysql_res;
	MYSQL_ROW mysql_row;
	MYSQL_FIELD *mysql_field;
	char tmp[TMP_SIZE][TMP_SIZE];

	mysql_init(&mysql);
	if (mysql_real_connect(&mysql, db_host, db_user, db_pwd,
		db_name, db_port, NULL, 0) == NULL) {
		printf("connect failed: %s\n", mysql_error(&mysql));
		return -1;
	}
	mysql_query(&mysql, "set names gbk");

	if (mysql_query(&mysql, "select * from user") != 0) {
		printf("query failed: %s\n", mysql_error(&mysql));
		mysql_close(&mysql);
		return -1;
	}
	mysql_res = mysql_store_result(&mysql);
	if (mysql_res == NULL) {
		printf("store result failed: %s\n", mysql_error(&mysql));
		mysql_close(&mysql);
		return -1;
	}
	printf("number of results: %d\n", mysql_num_rows(mysql_res));
	for (int i=0; mysql_field=mysql_fetch_field(mysql_res); i++) {
		printf("%s\n", mysql_field->name);
	}
	printf("====================\n");
	int num_of_fields = mysql_num_fields(mysql_res);
	while (mysql_row = mysql_fetch_row(mysql_res)) {
		for (int i=0; i<num_of_fields; i++) {
			printf("%s\n", mysql_row[i]);
		}
		printf("====================\n");
	}

	mysql_free_result(mysql_res);
	mysql_close(&mysql);
	return 0;
}

int main() {
	select_record();
	return 0;
}

输出如下

number of results: 6
id
email
name
password
avatar
time
====================
1
zrj
ZRJ
455ba221ff5d2d04e84caef24a06fafc
zrj.png
2012-11-21 21:52:30
====================
2
liang
梁斌penny
455ba221ff5d2d04e84caef24a06fafc
liang.jpg
2012-11-21 22:50:24
====================
3
1
1
5469a7c15898d73fedbada90ec8d051c
default.jpg
2012-11-21 23:55:23
====================
4
11
11
39fff158104571897b03f753cf073a42
default.jpg
2012-11-23 21:31:30
====================
5
111
111
e2f95e29a93bb6a45aec242a19cbe62d
default.jpg
2012-11-23 21:32:29
====================
6
1111
1111
8a32f7eaaa2f1f803fea771e9b5d7aa0
default.jpg
2012-11-23 21:32:38
====================

说下自己走的一些弯路，首先需要注意的是，那个 mysql 目录下的 include 文件夹，这个是需要一个典型安装的 mysql 才有的，我在集成的 WAMP 中找了找，没有找到这个文件夹，另外就是在 #include “mysql.h” 之前需要先 #include <Windows.h>，不然会报这个错误

错误	1	error C2146: 语法错误 : 缺少“;”(在标识符“fd”的前面)	c:\program files\mysql\mysql server 5.5\include\mysql_com.h	291	cpp_mysql
错误	2	error C4430: 缺少类型说明符 - 假定为 int。注意: C++ 不支持默认 int	c:\program files\mysql\mysql server 5.5\include\mysql_com.h	291	cpp_mysql
错误	3	error C4430: 缺少类型说明符 - 假定为 int。注意: C++ 不支持默认 int	c:\program files\mysql\mysql server 5.5\include\mysql_com.h	291	cpp_mysql
错误	4	error C2065: “SOCKET”: 未声明的标识符	c:\program files\mysql\mysql server 5.5\include\mysql_com.h	470	cpp_mysql
错误	5	error C2146: 语法错误 : 缺少“)”(在标识符“s”的前面)	c:\program files\mysql\mysql server 5.5\include\mysql_com.h	470	cpp_mysql
错误	6	error C2059: 语法错误 : “)”	c:\program files\mysql\mysql server 5.5\include\mysql_com.h	471	cpp_mysql

加深对 mysql 编码的理解

Tue, 27 Nov 2012 21:36:04 +0800

今天在这里，http://www.cppblog.com/yg2362/archive/2012/11/26/195711.html，看到这篇

我们举个例子，假设一个汉字的字符编码为0xFFFF，它在屏幕上能够正常显示，如果汉字存入数据库的时候和从数据库中取出的时候，编码一致，那么它肯定不是乱码。反过来，如果输出的时候是乱码，那么它肯定被转码了，至于为什么被转码了，我们得看看mysql里面做了什么(mysql难道会把无码片变成了有码片？) 首先mysql里面有2个概念，一个叫character set,一个叫collation。我们先说说character set。字符集就是数字，英文字符，汉字等编码格式，我们常见的是utf8,gbk,gb2312。mysql里面比较复杂，有4个东西跟它有关，分别是character_set_client，character_set_connection，character_set_database，character_set_results。set names (latin1)其实就是character_set_client=latin1，character_set_connection=latin1，character_set_results=latin1，它的流程是character_set_client ==> character_set_connection ==> Table Character ==> character_set_results。我们按照上面的流程，来分析第一个问题。 set names ’latin1’—-执行了character_set_client=latin1，character_set_connection=latin1，character_set_results=latin1; insert into test_latin1 set name=‘王’;这句话，mysql做了什么事呢？首先，character_set_client,它会把王字的编码当成latin1的编码传递给character_set_connection（此时不会转码），character_set_connection会把编码传递给Table Character,因为表本身是latin1，所以此时也不需要转码，select name from test_latin1;mysql会把test_latin1中的编码传递给前端，此时也不需要转码，所以，走个流程下来，我们输入的是什么编码，输出的还是相同的编码，因此，第一个问题的答案是不会是乱码。我画个流程图latin1==>latin1==>latin1==>latin1,没有转码的过程

我们在来看第二个问题。 set names ’test_gbk’—-执行了character_set_client=gbk，character_set_connection=gbk，character_set_results=gbk; insert into test_latin1 set name=‘王’;character_set_client,它会把王字的编码当成gbk的编码传递给character_set_connection（此时不会转码）,character_set_connection会把编码传递给Table Character,因为表是lanti1的编码格式，这个过程的时候就会进行转码，但是latin1的字符集小于gbk的字符集，所以它会找不到对应字符的编码，此时会以？代替。select name from test_latin1，此时会从latin1转码成gbk,但是此时latin1已经是错误的数据了，所以得到的gbk编码也是错误的了。流程gbk==>gbk==>latin1==>gbk,其中gbk==>latin1出了问题，我们select出来的数据也就不可能是输入时候的数据了。因此，这个问题的答案是乱码。

第三个。 set names ’test_latin1’ insert into test_utf8 set name=‘王’;character_set_client,它会把王字的编码当成latin1的编码传递给character_set_connection（此时不会转码）,character_set_connection会把编码传递给Table Character,此时表是utf8的格式，因此会进行转码，latin1==>utf8,因为utf8的字符集>latin1字符集，因此，转码正常。select name from test_utf8;会从utf8转码成latin1,此时可以转码成功，因此我们最终得到的和输入的时候是一致的，因此答案不是乱码。流程latin1==>latin1==>utf8==>latin1,从小的字符集到大的字符集再到小的字符集，转码是不会有问题的。屁话了这么多，无非想告诉大家一个万精油方法，表创建的字符集和set names都设置成同一个字符集，就基本可以满足输入数据不会在转换过程中失真，也就是说输入是什么，输出就是什么。建议有中文的都设置成utf8字符集，一劳永逸。

联想到自己将要做的一个模块，是一个爬虫的模块，在功能的实现中，遇到的问题是网页的编码是 gbk 的，但是我的数据库是 utf8 的，于是之前没事干的时候就在思考这个问题要怎么解决，当时自己想的一个方法是抓回来 gbk 的内容之后，查 php 手册看看有没有 gbk->utf8 的编码转换函数，而且我相信这样的函数应该还是会有的，直到看了这篇，试了一下，文件的编码是 gbk，在开始的时候 set names gbk，然后往里插入 gbk 的中文字符，结果居然可以，看来事情容易了很多

从点击到呈现 — 详解一次HTTP请求（3）

Sun, 30 Sep 2012 23:15:53 +0800

请求进入服务器之后，服务器上的的 http 监听进程会得到这个请求，然后一般情况下会启动一个新的子进程去处理这个请求，同时父进程继续监听。http 服务器首先会查看重写规则，然后如果是文件真实存在，例如一些图片，或者 css js 等的静态文件，就会直接把这个文件返回，如果是一个动态的请求，那么会根据 url 重写模块的规则，把这个请求重写到一个 rest 风格的 url 上，然后根据动态语言的脚本，来决定调用什么类型的动态文件脚本解释器来处理这个请求。

我们以 php 语言为例来说的话，请求到达一个 php 的 mvc 框架之后，框架首先应该会初始化一些环境的参数，例如远端 ip，请求参数等等，然后根据请求的 url 送到一个路由器类里面去匹配路由，路由由上到下逐条匹配，一旦遇到 url 能够匹配的上，而且请求的方法也能够命中的话，那么请求就会由这个路由所定义的处理方法去处理。

请求进入处理函数之后，如果客户端所请求需要浏览的内容是一个动态的内容，那么处理函数会相应的从数据源里面取出数据，这个地方一般会有一个缓存，例如 memcached 来减小 db 的压力，如果引入了 orm 框架的话，那么处理函数直接向 orm 框架索要数据就可以了，由 orm 框架来决定是使用内存里面的缓存还是从 db 去取数据，一般缓存都会有一个过期的时间，而 orm 框架也会在取到数据回来之后，把数据存一份在内存缓存中的。

orm 框架负责把面向对象的请求翻译成标准的 sql 语句，然后送到后端的 db 去执行，db 这里以 mysql 为例的话，那么一条 sql 进来之后，db 本身也是有缓存的，不过 db 的缓存一般是用 sql 语言 hash 来存取的，也就是说，想要缓存能够命中，除了查询的字段和方法要一样以外，查询的参数也要完全一模一样才能够使用 db 本身的查询缓存，sql 经过查询缓存器，然后就会到达查询分析器，在这里，db 会根据被搜索的数据表的索引建立情况，和 sql 语言本身的特点，来决定使用哪一个字段的索引，值得一提的是，即使一个数据表同时在多个字段建立了索引，但是对于一条 sql 语句来说，还是只能使用一个索引，所以这里就需要分析使用哪个索引效率最高了，一般来说，sql 优化在这个点上也是很重要的一个方面。

sql 由 db 返回结果集后，再由 orm 框架把结果转换成模型对象，然后由 orm 框架进行一些逻辑处理，把准备好的数据，送到视图层的渲染引擎去渲染，渲染引擎负责模板的管理，字段的友好显示，也包括负责一些多国语言之类的任务。对于一条请求在 mvc 中的生命周期，可以参考这里，临摹了一个 PHP MVC 框架，在视图层把页面准备好后，再从动态脚本解释器送回到 http 服务器，由 http 服务器把这些正文加上一个响应头，封装成一个标准的 http 响应包，再通过 tcp ip 协议，送回到客户机浏览器。

再搭一次 Apache PHP MySQL 环境

Thu, 16 Aug 2012 23:24:26 +0800

一直以来，都是使用 wamp 当作开发环境的，觉得在初期，还是快速动手开始写代码要紧，至于环境，没有什么特殊要求，就先用最典型的，所以就选择套装了。

而现在感觉是时候自己动手搭一个环境了，总的教程看这里，http://www.leapsoul.cn/?p=695，于是从 http://httpd.apache.org/download.cgi#apache22 下载了 apache 2.2.22，从 http://www.php.net/downloads.php#v5 下载了 php 5.3.16，在这里查了一下 php 5.3 和 5.4 的区别，link ，

新特性的引入
非常有意思的是php 5.4居然引入了scalar中Traits(特质)的概念，熟悉scalar的朋友都知道Traits是一个介于Class和Interface之间的东西，它是抽象的定义，但是跟接口不同的是可以包括实际的方法和成员变量，而跟abstract class不同的是，它可以是多重的!这将让php的oop特性更加丰富，不过我也悲观地认为这会让众多php的草根们对oop的概念更加混乱:(
trait A
{
    public function foo();
}

trait B
{
    public function bar()
    {
        return;
    }
}

class C
{
    use A, B;

    public function execute()
    {
        echo $this->bar();
    }
}
另一个我比较关心的特性是php 5.4中终于支持全类型的函数类型检测了，在php 5.3以前我们只能在类型检测中使用array和Class的检测，比如
function foo(array input, MyClass key) {
    return;
}
但是php 5.4会支持现在php的所有内置类型了(String,Int,Float,Resource,Bool等等)，这样我们就不用在函数内部写类似is_string之类的函数了。

还有一个让无数php开发者曾经无比纠结的问题，终于在这个php 5.4中修复了(至少我认为是修复)。那就是在函数的返回值中直接使用数组键值了
function func () {
    return array(1, 2, 3);
}

echo func()[1];    // 输出2
这个看似理所当然的东西居然要等到php 5.4中才修复，要是早点修复可以节省多少变量，少排放多少二氧化碳啊。

还有一个对php初学者来说的好消息，那就是php 5.4会包含一个简单的server，大家不用再去烦恼如何配置apache之类的了。

其实，php 5.3 就已经够用了，至于 5.3 的特性，http://www.iteye.com/topic/1078569 这里居然 google 到江阁的留言

和楼上一样，一直用 5.35 5.3x 中最有用的其实是静态延迟绑定，其次是命名空间。至于 SPL 的增强，以前用数组也能模拟，现在既然有了 SPL ，我还是尽量用了。

SPL 其实就是一个迭代器，教程的话这里有，http://www.ruanyifeng.com/blog/2008/07/php_spl_notes.html ，

SPL规定，所有部署了Iterator界面的class，都可以用在foreach Loop中。Iterator界面中包含5个必须部署的方法：

* current()This method returns the current index’s value. You are solely responsible for tracking what the current index is as the interface does not do this for you.* key()

This method returns the value of the current index’s key. For foreach loops this is extremely important so that the key value can be populated.

* next()

This method moves the internal index forward one entry.

* rewind()

This method should reset the internal index to the first element.

* valid()

This method should return true or false if there is a current element. It is called after rewind() or next().

然后又看到 php 的下载有线程安全和非线程安全的版本区分，他们的区别看这里，http://blog.bluesky.cn/archives/472/php-thread-safe-and-non-thread-safe-version-of-the-distinction-between.html

Windows版的PHP从版本5.2.1开始有Thread Safe(线程安全)和None Thread Safe(NTS，非线程安全)之分，这两者不同在于何处？到底应该用哪种？这里做一个简单的介绍。

从2000年10月20日发布的第一个Windows版的PHP3.0.17开始的都是线程安全的版本，这是由于与Linux/Unix系统是采用多进程的工作方式不同的是Windows系统是采用多线程的工作方式。如果在IIS下以CGI方式运行PHP会非常慢，这是由于CGI模式是建立在多进程的基础之上的，而非多线程。一般我们会把PHP配置成以ISAPI的方式来运行，ISAPI是多线程的方式，这样就快多了。但存在一个问题，很多常用的PHP扩展是以Linux/Unix的多进程思想来开发的，这些扩展在ISAPI的方式运行时就会出错搞垮IIS。因此在IIS下CGI模式才是PHP运行的最安全方式，但CGI模式对于每个HTTP请求都需要重新加载和卸载整个PHP环境，其消耗是巨大的。

为了兼顾IIS下PHP的效率和安全，微软给出了FastCGI的解决方案。FastCGI可以让PHP的进程重复利用而不是每一个新的请求就重开一个进程。同时FastCGI也可以允许几个进程同时执行。这样既解决了CGI进程模式消耗太大的问题，又利用上了CGI进程模式不存在线程安全问题的优势。

因此，如果是使用ISAPI的方式来运行PHP就必须用Thread Safe(线程安全)的版本；而用FastCGI模式运行PHP的话就没有必要用线程安全检查了，用None Thread Safe(NTS，非线程安全)的版本能够更好的提高效率。

至于那个 Debug Pack ，这里说道，http://topic.csdn.net/u/20120328/09/ce3ce532-91e4-466c-b705-387d3156d8c8.html

难道这不是给php开发者用来调试php代码的吗？比如类似xdebug,zend debugger，那这个包给谁用呢当然不是给php开发者用来调试php代码的是给 C++ 程序员开发或修改 php 扩展用的

至于那个 vc6 和 vc9，这里有，http://lzhxiaoyu.blog.51cto.com/10707/238562/

一、如何选择PHP5.3的VC9版本和VC6版本

VC6版本是使用Visual Studio 6编译器编译的，如果你的PHP是用Apache来架设的，那你就选择VC6版本。

VC9版本是使用Visual Studio 2008编译器编译的，如果你的PHP是用IIS来架设的，那你就选择VC9版本。

不过，php 5.3.16 开始就貌似只有 vc9 可选了

注意一点的是，在配 php 的 session 存储方式的时候，这里，http://hi.baidu.com/whzkinger/item/6cc85c5c01fbc011db16355f，提到 session 是可以存在 memcached 中的，也就是说，可以用这个路子来实现单点登录，另外据说还可以存在数据库里面，这个就没有深究了。在这个安装 memcached 的帖子中提到了 pecl，于是顺手查了一下 pecl， pear， perl 的区别，这里说道 http://g.51cto.com/mike/61429

Pear：是PHP的扩展代码包，所有的扩展均以PHP代码的形式出现，功能强大，安装简单，甚至可以改改就用。使用的时候，要在代码中进行Include才能够使用。

Pecl：是PHP的标准扩展，可以补充实际开发中所需的功能，所有的扩展都需要安装，在Windows下面以Dll的形式出现，在linux下面，需要单独进行编译，它的表现形式为根据PHP官方的标准用C语言写成，尽管源码开放但是一般人无法随意更改源码。

最直接的表述：Pear是PHP的上层扩展，Pecl是PHP的底层扩展。

这是一些PHP扩展模块的集合扩展PHP有两种方法一种是用纯粹的PHP代码写函数和类，pear就是这样一个项目，主页是pear.php.net 另外一种是用c或者c++编写外部模块加载至php中，pecl就是干这个事的，主页是pecl.php.net这两种方法其实都是为特定的应用提供现成的函数或者类，本质上来说都是一样的

这里的简洁明了一些，http://topic.csdn.net/t/20060529/09/4785160.html

pear 一个书写的比较规范，国外较流行的工具箱代码集 pecl php扩展包，但不属于php基本扩展范围 perl 一种早于php出现的脚本级语言，php借鉴了他的正则表达式部分

php 的 ini 文件配置完成之后，就可以通过命令行来测试一下 php 了，关于命令行的时候用，这里有，http://www.cnblogs.com/codebean/archive/2011/05/30/php-cli-argv.html ，具体到我们的例子，我们可以敲一个类似这样的命令，

C:Program Filesphpphp-5.3.16>php -r "echo md5('123');"

也可以复杂点，

C:Program Filesphpphp-5.3.16>php -r "var_dump(file('http://baidu.com'));"

也可以写一个文件让它去跑，例如

<?php
file_put_contents("test.txt", time());

然后让他运行，

C:Program Filesphpphp-5.3.16>php test.php

接下来就是要整合 apache 和 php 了，悲剧的是，php 5.3.16 不再有 vc6 的版本，也就不再有 php5apache2_2.dll 这个文件，于是，我们把 php 配成 fastcig 模式，至于 mod-php， cgi， fastcgi 的区别，可以看这里，http://www.zhouwenyi.com/read.php?hash=54df9bb40101307n

php一共分为五大运行模式：包括cgi 、fast-cgi、cli、isapi、apache 模块的 DLL

CGI CGI即通用网关接口(Common Gateway Interface)，它是一段程序，通俗的讲CGI就象是一座桥，把网页和WEB服务器中的执行程序连接起来，它把HTML接收的指令传递给服务器的执行程序，再把服务器执行程序的结果返还给HTML页。CGI 的跨平台性能极佳，几乎可以在任何操作系统上实现。 CGI方式在遇到连接请求（用户请求）先要创建cgi的子进程，激活一个CGI进程，然后处理请求，处理完后结束这个子进程。这就是fork-and-execute模式。所以用cgi 方式的服务器有多少连接请求就会有多少cgi子进程，子进程反复加载是cgi性能低下的主要原因。都会当用户请求数量非常多时，会大量挤占系统的资源如内存，CPU时间等，造成效能低下。

CGI-FCGI fast-cgi 是cgi的升级版本，FastCGI像是一个常驻(long-live)型的CGI，它可以一直执行着，只要激活后，不会每次都要花费时间去fork一次。PHP使用PHP-FPM(FastCGI Process Manager)，全称PHP FastCGI进程管理器进行管理。

FastCGI的工作原理 1、Web Server启动时载入FastCGI进程管理器(IIS ISAPI或Apache Module) 2、FastCGI进程管理器自身初始化，启动多个CGI解释器进程(可见多个php-cgi)并等待来自Web Server的连接。 3、当客户端请求到达Web Server时，FastCGI进程管理器选择并连接到一个CGI解释器。Web server将CGI环境变量和标准输入发送到FastCGI子进程php-cgi。 4、 FastCGI子进程完成处理后将标准输出和错误信息从同一连接返回Web Server。当FastCGI子进程关闭连接时，请求便告处理完成。FastCGI子进程接着等待并处理来自FastCGI进程管理器(运行在Web Server中)的下一个连接。在CGI模式中，php-cgi在此便退出了。

在上述情况中，你可以想象CGI通常有多慢。每一个Web 请求PHP都必须重新解析php.ini、重新载入全部扩展并重初始化全部数据结构。使用FastCGI，所有这些都只在进程启动时发生一次。一个额外的好处是，持续数据库连接(Persistent database connection)可以工作。

APACHE2HANDLER PHP作为Apache模块，Apache服务器在系统启动后，预先生成多个进程副本驻留在内存中，一旦有请求出现，就立即使用这些空余的子进程进行处理，这样就不存在生成子进程造成的延迟了。这些服务器副本在处理完一次HTTP请求之后并不立即退出，而是停留在计算机中等待下次请求。对于客户浏览器的请求反应更快，性能较高。 apache模块的DLL：该运行模式是我们以前在windows环境下使用apache服务器经常使用的，而在模块化(DLL)中，PHP是与Web服务器一起启动并运行的。（是apache在CGI的基础上进行的一种扩展，加快PHP的运行效率）

ISAPI: ISAPI即Internet Server Application Program Interface，是微软提供的一套面向Internet服务的API接口一个ISAPI的DLL，可以在被用户请求激活后长驻内存，等待用户的另一个请求，还可以在一个DLL里设置多个用户请求处理函数，此外， ISAPI的DLL应用程序和WWW服务器处于同一个进程中，效率要显著高于CGI。（由于微软的排他性，只能运行于windows环境)

cli: cli是php的命令行运行模式，大家经常会使用它，但是可能并没有注意到（例如：我们在linux下经常使用 “php -m”查找PHP安装了那些扩展就是PHP命令行运行模式；有兴趣的同学可以输入php -h去深入研究该运行模式）

总结：每种运行模式都有自己的优缺点，没有绝对的好与坏，主要是看大家处理何种环境。

至于 apache 配 fastcgi ，可以看这里，http://huzhangsheng.blog.163.com/blog/static/3478778420083903534560/，还有这里，http://aiyooyoo.com/index.php/archives/164/，不过我是综合了他们两个，尽量做到少写，因为写多了也不知道写的是什么，我只在 234 行的 Directory 里面左右加上了

Options ExecCGI

然后在 242 行优先次序改成

<IfModule dir_module>
    DirectoryIndex index.php index.html
</IfModule>

最后在末尾加上

LoadModule fcgid_module modules/mod_fcgid.so
<IfModule mod_fcgid.c>
      AddHandler fcgid-script .php
      FCGIWrapper "C:/php/php-5.3.16/php-cgi.exe" .php
</IfModule>

顺便说一下，本来 php 是装在 program files 里面的，但是好像配置文件里面的 FCGIWrapper 的路径不能出现空格，于是就移到根目录来了，顺带的，原来 php 配置文件里面的所有路径都要跟着改，坑爹啊

于是 php 和 apache 的连结到此结束，后面就是装 mysql 了，mysql 有自己的配置向导，所以基本上就是一路 next 顺带改点小地方，没有什么特别需要注意的，最后装一个 phpmyadmin 完事

===================================================

2012-08-17 14:00:14 update 在配 apache 的 httpd.conf 文件时，发现了，同一个配置项只能一行，后面的会覆盖前面的。。

历史评论

从点击到呈现 — 详解一次HTTP请求（1） | ZRJ (2012-10-05 08:27:43):

[…] 这个时候，典型的情况下，机房里面应该还有一个数据库服务器，或许，还有一台缓存服务器，如果对于流量巨大的网站，那么动态脚本的解释器可能还有单独的物理机器来跑，如果是中小的站点，那么，上述的各色服务，甚至都可能在一台物理机上，这些服务监听之间的关系，可以参考这里，再搭一次 Apache PHP MySQL 环境，不管怎么说，他们做好了准备，静候差遣。此条目由 ZRJ 发表在技术分类目录，并贴了 Apache、从点击到呈现、详解一次HTTP请求标签。将固定链接加入收藏夹。 […]