Google perftools cpu profiler 对多进程的支持问题

Wed, 28 Aug 2013 11:05:48 +0800

折腾了好久，到目前还是没有让 gperftools cpu profiler 能在多进程环境下跑起来，问题如下：

main_cmd_argv.cpp

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <string.h>
#include <sys/types.h>
#include <sys/wait.h>
#include <gperftools/profiler.h>

int loop(int n) {
    int sum = 0;
    for (int i = 0; i < n; i++) {
        for (int j = 0; j < n; j++) {
            sum = i + j;
            if (sum %3 == 0) {
                sum /= 3;
            }
        }
    }
    return 0;
}

int main(int argc, char* argv[]) {

    printf("%s\n%s\n", getenv("CPUPROFILE"), getenv("CPUPROFILESIGNAL"));

    if (argc > 1 && strcmp(argv[1], "-s")==0) {
        // single process
        loop(100000);
        printf("stoped\n");
    } else if (argc > 1 && strcmp(argv[1], "-m")==0) {
        // multi process
        pid_t pid = fork();
        if (pid < 0) {
            printf("fork error\n");
            return -1;
        }
        if (pid == 0) {    
            loop(100000);
            printf("child stoped\n");
        } else if (pid > 0) {
            loop(10000);
            printf("father stoped\n");
            wait(NULL);
        }        
    }   

    return 0;
}

makefile

GPerfTools=/home/adenzhang/tools/gperftools

CCFLAGS=-fno-omit-frame-pointer -g -Wall

ALL_BINS=main_cmd_argv
all:$(ALL_BINS)

main_cmd_argv:main_cmd_argv.o
    g++ $(CCFLAGS) -o $@ $^ -L./ -L$(GPerfTools)/lib -Wl,-Bdynamic -lprofiler -lunwind

.cpp.o:
    g++ $(CCFLAGS) -c -I./ -I$(GPerfTools)/include -fPIC -o $@ $<
clean:
    rm -f $(ALL_BINS) *.o *.prof

运行过程

$ make
g++ -fno-omit-frame-pointer -g -Wall -c -I./ -I/home/adenzhang/tools/gperftools/include -fPIC -o main_cmd_argv.o main_cmd_argv.cpp
g++ -fno-omit-frame-pointer -g -Wall -o main_cmd_argv main_cmd_argv.o -L./ -L/home/adenzhang/tools/gperftools/lib -Wl,-Bdynamic -lprofiler -lunwind
$ env CPUPROFILE=main_cmd_argv.prof ./main_cmd_argv -s
젩n_cmd_argv.prof
(null)
stoped
PROFILE: interrupts/evictions/bytes = 6686/3564/228416
$ /home/adenzhang/tools/gperftools/bin/pprof --text ./main_cmd_argv ./main_cmd_argv.prof 
Using local file ./main_cmd_argv.
Using local file ./main_cmd_argv.prof.
Removing killpg from all stack traces.
Total: 6686 samples
    6686 100.0% 100.0%     6686 100.0% loop
       0   0.0% 100.0%     6686 100.0% __libc_start_main
       0   0.0% 100.0%     6686 100.0% _start
       0   0.0% 100.0%     6686 100.0% main
$ rm main_cmd_argv.prof 
$ env CPUPROFILE=main_cmd_argv.prof ./main_cmd_argv -m
젩n_cmd_argv.prof
(null)
father stoped
child stoped
PROFILE: interrupts/evictions/bytes = 0/0/64
PROFILE: interrupts/evictions/bytes = 68/36/2624
$ ls 
main_cmd_argv  main_cmd_argv.cpp  main_cmd_argv.o  main_cmd_argv.prof  Makefile
$ /home/adenzhang/tools/gperftools/bin/pprof --text ./main_cmd_argv ./main_cmd_argv.prof 
Using local file ./main_cmd_argv.
Using local file ./main_cmd_argv.prof.
$

先记下来吧，后面再想办法搞。

小广告贴的到处都是：http://stackoverflow.com/questions/18384760/gperftools-cpu-profiler-does-not-support-multi-process，https://groups.google.com/forum/#!topic/google-perftools/bmysZILR4ik，http://www.searchtb.com/2012/12/google-cpu-profiler.html，https://code.google.com/p/gperftools/issues/detail?id=569&can=1&q=multi%20process

另外有一个讲性能分析的 stackoverflow 问答，顺便记下来：http://stackoverflow.com/questions/375913/what-can-i-use-to-profile-c-code-in-linux/378024#378024

历史评论

ZRJ (2013-10-15 08:54:18):

最后的结果是这样的：

Aliaksey Kandratsenka alkondratenko@gmail.com 9月9日

发送至 google-perftoo. It looks like profiler sets up timer for main thread early and then fork (which creates new thread) does not inherit this. I’m not very familiar with that code but I find it weird.

Anyways I was able to enable profiling in child by calling ProfilerRegisterThread right after ProfilerStart. Which set up profiling signal for child and made it work.

动态链接库中的全局变量 | ZRJ (2015-03-27 11:35:46):

[…] 考虑到之前做函数耗时测试，和代码覆盖度测试的时候，遇到过由于进程关系复杂（又多进程又线程的）引起的问题，考虑是否由于这个原因引起的问题，于是写了这么一个测试 […]

使用 gperftools 分析 cpp 程序性能

Mon, 19 Aug 2013 17:38:44 +0800

首先从这里，https://code.google.com/p/gperftools/，下载 gperftools-2.1.tar.gz

接下来的操作教程主要参看这篇文章，http://www.searchtb.com/2012/12/google-cpu-profiler.html，Google CPU Profiler使用指南及小工具，已经写的很好了，其中需要注意的问题有几个：

原文的 Makefile 没有排版，需要自己去 tab 缩进，不然在 make 的时候会报错
在运行起来的时候报错，链接失败，参看这里，http://blog.csdn.net/dumeifang/article/details/2963223

在linux下运行程序时，发现了error while loading shared libraries这种错误，一时间不知道解决办法，在网上搜索，终于解决了：

./tests: error while loading shared libraries: xxx.so.0:cannot open shared object file: No such file or directory 出现这类错误表示，系统不知道xxx.so放在哪个目录下，这时候就要在/etc/ld.so.conf中加入xxx.so所在的目录。

一般而言，有很多的so会存放在/usr/local/lib这个目录底下，去这个目录底下找，果然发现自己所需要的.so文件。

所以，在/etc/ld.so.conf中加入/usr/local/lib这一行，保存之后，再运行：/sbin/ldconfig –v更新一下配置即可。

在使用 pprof 进行结果输出的时候，需要注意，pprof 这个工具是存放在安装目录下的 tools/gperftoools/bin/pprof 这里的

基本就没什么问题了，然后可以得到下图

=================================================

2013-08-21 09:17:474 update 另外，针对文中提到的动态链接库和 dlopen 的方式，我发现如果进程是被 killall 命令结束的话，那么是无法生成记录文件的，这个问题需要注意处理

Gperftools on ZRJ | 学习笔记

Google perftools cpu profiler 对多进程的支持问题

历史评论

使用 gperftools 分析 cpp 程序性能