Ip on ZRJ | 学习笔记

17mon IP 解析代码 C++ 版

Sat, 27 Dec 2014 12:04:45 +0800

高春辉做了一个功德无量的事情，整理了一份高质量的 IP 库，http://tool.17mon.cn/ipdb.html，官方给出了 php 版本的解析函数，但是没有 c++ 的，倒是有人写了一个 php c 扩展，https://github.com/shukean/monip/blob/master/monip.c，不过太长了。。

于是自己写了个 c++ 的

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <string>
#include <vector>
#include <fstream>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <assert.h>

class IP17MON {
public:
    bool init(const std::string strPathToDataFile = "./17monipdb.dat") {
        printf("Opening %s\n", strPathToDataFile.c_str());
        std::ifstream ifDataFile(strPathToDataFile.c_str(), std::ios::binary);
        if (ifDataFile.is_open() == false) {
            printf("%m\n");
            return false;
        }
        vecDataFile.assign(std::istreambuf_iterator<char>(ifDataFile), std::istreambuf_iterator<char>());
        printf("Load %lu bytes success\n", vecDataFile.size());
        
        unsigned int uiIndexLen = 0;
        memcpy(&uiIndexLen, &vecDataFile[0], 4);
        uiIndexLen = ntohl(uiIndexLen);
        //printf("index len %u\n", uiIndexLen);
        pIPIndex = &vecDataFile[4];
        pIPData = &vecDataFile[uiIndexLen];
        
        return true;
    }
    std::string find(const std::string strIP) {        
        if (strIP.empty()) {
            return "";
        }
        
        struct sockaddr_in stSockAddrInet = {0};
        if(inet_aton(strIP.c_str(), &stSockAddrInet.sin_addr) == 0) {
            //printf("convert error\n");
            return "";
        }
        unsigned int uiIP = ntohl(stSockAddrInet.sin_addr.s_addr);
        //printf("ip %X\n", uiIP);
        
        int iFirst = atoi(strIP.c_str());
        
        int iStart = 0;
        memcpy(&iStart, pIPIndex+(iFirst*4), 4);
        //printf("start %d\n", iStart);
        
        int iMaxComLen = pIPData - pIPIndex - 1024 - 4;
        //printf("max compare len %d\n", iMaxComLen);
        
        int iIndexOffset = -1;
        unsigned char ucIndexLength = 0;
        for (iStart = iStart * 8 + 1024; iStart < iMaxComLen; iStart += 8) {
            unsigned int uiCurrIP = 0;
            memcpy(&uiCurrIP, pIPIndex+iStart, 4);
            uiCurrIP = ntohl(uiCurrIP);
            //printf("curr %u looking %u\n", uiCurrIP, uiIP);
            if (uiCurrIP >= uiIP) {
                iIndexOffset = 0;
                memcpy(&iIndexOffset, pIPIndex+iStart+4, 3);   
                memcpy(&ucIndexLength, pIPIndex+iStart+7, 1);  
                break;
            }
        }
        //printf("index offset %u\n", iIndexOffset);
        //printf("index length %u\n", ucIndexLength);
        
        if (iIndexOffset == -1) {
            return "";
        }
        
        std::string strRegion;
        char *pRegion = pIPData + iIndexOffset - 1024;
        strRegion.assign(pRegion, ucIndexLength);
        //printf("str region %s\n", strRegion.c_str());
        
        return strRegion;
    }
private:
    std::vector<char> vecDataFile;
    char *pIPIndex, *pIPData;
};

int main() {
    IP17MON oIP17MON;
    assert(oIP17MON.init());
    printf("%s -> %s\n", "14.17.22.40", oIP17MON.find("14.17.22.40").c_str());    
    return 0;
}

效率方面，在我 cpu e5300, ram 4g ddr2 800, os ubuntu 14.04 的机器上，大约是每秒 150 万次

使用 raw socket 来躲开 netstat 的连接监控

Mon, 01 Sep 2014 09:45:03 +0800

先来看一个非常普通的收发

服务端

#include <stdio.h>
#include <string.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <assert.h>

int main() {
    int listen_fd = socket(AF_INET, SOCK_DGRAM, 0);
    assert(listen_fd > 0);
    struct sockaddr_in listen_addr;
    memset(&listen_addr, 0, sizeof(listen_addr));
    listen_addr.sin_family = AF_INET;
    listen_addr.sin_addr.s_addr = htonl(INADDR_ANY);
    listen_addr.sin_port = htons(9999);
    assert(bind(listen_fd, (struct sockaddr*)&listen_addr, sizeof(listen_addr)) != -1);
    while (1) {
        struct sockaddr_in cli_addr;
        memset(&cli_addr, 0, sizeof(cli_addr));
        socklen_t cli_addr_len = sizeof(cli_addr);
        int msg, msg_len;
        recvfrom(listen_fd, &msg, sizeof(msg), 0, (struct sockaddr*)&cli_addr, &cli_addr_len);
        printf("%d\n", msg);
        sleep(1);
        msg++;
        sendto(listen_fd, &msg, sizeof(msg), 0, (struct sockaddr*)&cli_addr, cli_addr_len);
    }
    return 0;
}

客户端

#include <stdio.h>
#include <string.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <assert.h>

int main() {
    int socket_fd = socket(AF_INET, SOCK_DGRAM, 0);
    assert(socket_fd > 0);
    struct sockaddr_in serv_addr;
    memset(&serv_addr, 0, sizeof(serv_addr));
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_port = htons(9999);
    assert(inet_pton(AF_INET, "127.0.0.1", &serv_addr.sin_addr) >= 0);
    int msg = 1;
    while (1) {
        sendto(socket_fd, &msg, sizeof(msg), 0, (struct sockaddr*)&serv_addr, sizeof(serv_addr));
        socklen_t serv_addr_len = sizeof(serv_addr);
        recvfrom(socket_fd, &msg, sizeof(msg), 0, (struct sockaddr*)&serv_addr, &serv_addr_len);
        printf("%d\n", msg);
        sleep(1);
        msg++;
    }
    return 0;
}

跑起来之后，可以用 netstat -anp|grep 9999 看到下面的链接

(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
udp        0      0 0.0.0.0:9999            0.0.0.0:*                           16144/ser

问题来了，如果我不想被 netstat 看到，需要怎么搞呢

这个思路其实比较直接，就是使用 raw socket，注意到 netstat 是分析 tcp 或者 udp 包头中的 port 字段来判定这个是个什么样的连接的，所以如果我们使用一个自定义的传输层协议，然后自行填充 ip 包的包头，发送出去，就可以绕过 netstat 的检查了。

说起来容易，但是实际调起来发现 raw socket 确实是不好调，稍后代码如果能调通了会放一份上来。

可以看这里有相关的说明，http://sec.chinabyte.com/429/8835429.shtml

历史评论

LIANG YUQING (2014-11-27 14:39:33):

不过楼主的目的是要创建一种属于自己的protocol，这样就不会受到TCP/UDP监控？有种covert channel的感觉…

ZRJ (2014-11-28 09:22:02):

是的，可以看我原文最后引用的那篇文章，里面有说明，这种技术一般是木马用于躲避简单的监控

从点击到呈现 — 详解一次HTTP请求（2）

Sun, 30 Sep 2012 16:38:56 +0800

上回说道服务器启动了监听服务，准备迎接来自客户机的请求。那么，我们以一次典型的浏览请求来解析：

当我们开始在浏览器中输入网址的时候，浏览器其实就已经在智能的匹配可能得 url 了，他会从历史记录，书签等地方，找到已经输入的字符串可能对应的 url，然后给出智能提示，对于 google chrome 那种变态的浏览器，他甚至会直接从缓存中把网页展示出来，就是说，你还没有按下 enter，页面就出来了，这个过于奇葩，我们不详细讲。

在例如输入了 baidu 或者 qq 之类的域名后，我们可以按下 ctrl + enter ，来自动补全，生成 qq.com 或者 baidu.com 的网址，然后发起请求。请求一旦发起，浏览器首先要做的事情就是解析这个域名，一般来说，浏览器会首先查看本地硬盘的 hosts 文件，看看其中有没有和这个域名对应的规则，如果有的话就直接使用 hosts 文件里面的 ip 地址，说道这里，大家可能想到，这个地方就存在安全隐患了，如果有病毒把一些常用的域名，修改 hosts 文件，指向一些恶意的 ip，那么浏览器也会不加判断的去连接，是的，这正是很多病毒的惯用手法。

如果在本地的 hosts 文件没有能够找到对应的 ip 地址，浏览器会向 dns 域名解析服务器发起域名解析请求，dns 的域名解析是递归的，（还有另外 dns 是迭代的），递归的 dns 首先会查看自己的 dns 缓存，如果缓存能够命中，那么就从缓存中把 ip 地址返回给浏览器，如果找不到对应的域名的 ip 地址，那么就向上转发请求，然后把得到的这个域名对应的 nameserver 的地址取得，再向这个 namserver 去请求域名对应的 ip，最后把这个 ip 地址返回给浏览器，不过怎么说，这个递归查询的过程，对于浏览器来说是透明的，他只要坐等 ip地址送回来就可以了。对于 DNS 的进一步理解，可以看这里，进一步理解 DNS

得到 ip 地址后，浏览器会开始构造一个 http 请求，一个典型的 http request header 一般需要包括请求的方法，例如 GET 或者 POST 等，不常用的还有 PUT 和 DELETE 方法，更加不常用的还有 HEAD 和 OPTION 以及 TRACE 方法，一般的浏览器只能发起 GET 或者 POST 请求，应用层的 http 请求准备好后，浏览器在传输层发起一条到达服务器的 tcp 连接，这个时候应该开始三次握手的过程，tcp 包被封装到网络层的 ip 包里面，ip 包再被封装到数据链路层的数据帧结构中，再通过物理层的比特流送出去，这些分层的意义在于分工合作，数据链路层通过 CSMA/CD 协议保证了相邻两台主机之间的数据报文传递，而网络层的 ip 数据包通过不同子网之间的路由器的路由算法和路由转发，保证了互联网上两台遥远主机之间的点对点的通讯，不过这种传输是不可靠，于是可靠性就由传输层的 tcp 协议来保证，tcp 通过慢开始，乘法减小等手段来进行流量控制和拥塞避免，同时提供了两台遥远主机上进程到进程的通信，最终保证了 http 的请求头能够被远方的服务器上正在监听的 http 服务器进程收到，终于，数据包在跳与跳之间被拆了又封装，在子网与子网之间被转发了又转发，最后进入了服务器的操作系统的缓冲区，服务器的操作系统由此给正在被阻塞住的 accept 函数一个返回，将他唤醒。

历史评论

smile (2013-09-09 16:57:20):

不是CSMA/CS协议，应该是CSMA/CD吧。

ZRJ (2013-09-09 18:37:07):

呵呵，是的，笔误，修改过来了，谢谢指出哈。。

Jacky (2014-05-02 11:20:15):

DNS部分，好像少了一个，浏览器自身的DNS缓存～

ZRJ (2014-05-03 09:38:38):

嗯，dns 这块确实没讲好，不够清晰易懂，不要被我误导了，哈哈，像 chrome 这种的，还有 chrome://dns/，里面还有 prefetch

老生常谈-从输入url到页面展示到底发生了什么丨 web技术笔记 (2017-09-01 14:38:22):

[…] http://zrj.me/archives/589 […]

从输入URL到页面显示发生了什么 | 言曌博客 (2018-03-07 14:07:34):

[…] http://zrj.me/archives/589 […]

xz (2019-01-28 15:35:08):

有线网络以太网采用的是CSMA/CD，but，无线网络Wi-Fi采用的是CSMA/CA，还是不太一样的。

ZRJ (2019-04-16 10:20:52):

嗯，是的，当时还没学习到无线，现在都是无线为主了，知识老旧了