Id3 on ZRJ | 学习笔记

Python eyeD3 库的乱码问题初步

Wed, 05 Dec 2012 23:46:01 +0800

续上次的，再次折腾专辑封面，请教了江阁之后，江阁给了一个 hack，现在基本可以读取 gbk 的 id3 了，附上现在的代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 2012.12.3

'''根据豆瓣自动补全专辑封面'''

import os, sys, re, time, urllib, eyeD3

reload(sys)
sys.setdefaultencoding('utf-8')

import logging
logging.basicConfig(filename = 'log.txt', 
                    filemode = 'w', 
                    format = '[%(levelname)s] [%(asctime)s] %(message)s', 
                    level = logging.DEBUG)

resolve_abnormal = lambda abnormal: "".join(map(chr, map(ord, abnormal)))

def fillCover(filename):
    logging.info('processing %s' % filename)
    t = eyeD3.Tag()

    try:
        t.link(filename)
    except:
        logging.error('can not open file')
        return False

    images = t.getImages()
    '''
    if len(images) > 0:
        logging.info('alreay has cover images')
        return True
    '''
    t.removeImages()

    title = t.getTitle()
    title = resolve_abnormal(title)
    logging.debug('title is %s' % title)
    album = t.getAlbum()
    album = resolve_abnormal(album)
    logging.debug('album is %s' % album)
    artist = t.getArtist()
    artist = resolve_abnormal(artist)
    logging.debug('artist is %s' % artist)

    if title or artist or album:
        keyword = ' '.join([title, artist, album])
    else:
        logging.debug('no enough id3 tags')
        keyword = filename.split('\')[-1].split('.')[0]
        keyword = keyword
    logging.debug('keyword is %s' % keyword)

    doubanSearchAPI = 'http://api.douban.com/v2/music/search?q={0}'
    request = doubanSearchAPI.format(urllib.quote(keyword.decode('gbk').encode('utf-8')))
    logging.debug('request is %s' % request)
    result = urllib.urlopen(request).read()
    #logging.debug('result is %s' % result)

    # http://developers.douban.com/wiki/?title=api_v2
    #logging.warn('sleep for 6 sec')
    #time.sleep(6)

    if not result:
        return False
    doubanCoverPattern = 's(d+).jpg'
    doubanCoverURL = 'http://img3.douban.com/lpic/s{0}.jpg'
    match = re.search(doubanCoverPattern, result, re.IGNORECASE)
    if match:
        coverFileURL = doubanCoverURL.format(match.groups()[0])
        logging.debug('cover image url is %s' % coverFileURL)
    else:
        logging.debug('no cover image url matched')
        return False

    try:
        logging.debug('downloading cover image file')
        #coverFileName = ' - '.join([artist, album])+'.jpg'
        coverFileName = 'cover//' + ' - '.join([artist, album]) + '.jpg'
        f = file(coverFileName, 'wb')
        f.write(urllib.urlopen(coverFileURL).read())
        f.close()
        logging.debug('download finished')
    except:
        logging.error('download error')

    try:
        logging.debug('adding image')
        t.addImage(3, coverFileName, u'')
        t.update()
        logging.info('successfully add image')
        return True
    except:
        logging.error('add image error')
        return False


def main():
    if len(sys.argv) < 2:
        print 'usage: %s /path/to/your/music/folder/' % __file__
        return False
    for i in os.listdir(sys.argv[1]):
        fillCover(os.path.join(sys.argv[1], i))

if __name__ == '__main__':
    main()

但是进一步的探索发现一个神奇的问题，有些歌曲是拖不进 itunes 的，而且，这种歌曲的 id3 必须转成 apev2，才能正确的出现标签的歌手和专辑名称，以及可以出现专辑封面，我发现这些歌曲一般是来自 google music，不知道是不是用了什么数字水印技术

再次折腾专辑封面

Mon, 03 Dec 2012 23:54:09 +0800

最近 itunes 升级，于是重新在整理音乐文件，看到那些没有专辑封面的 mp3，于是骨子里的不折腾不舒服斯基又发作了，手贱准备再次开始写一个自动工具来搞，上次的折腾记录在这里，根据 ID3 自动补充专辑封面和歌词

上次的失败是因为那个库对于中文的编码支持不是很好，于是最后就出现一些乱码问题，等等，于是这次准备换 python 搞，搜了一下，看到这几篇文章，http://hackerszone.diandian.com/post/2011-08-14/3887967，http://www.gracecode.com/posts/3009.html，http://www.fuchaoqun.com/2010/01/python-mp3-id3v2-lyrics-attached_picture/，http://pipitu.org/2010/05/14/mp3-id3-embed-cover/，于是我知道手贱的不止我一个，呵呵

他们用的 py 库是http://eyed3.nicfit.net，这次不搞图形界面，于是一通查资料，重新理清了 mp3 tag 的文件格式，按照我的理解，简单来说，是这样的

首先有一个不太成熟的 id3v1，这个东西的做法是把 title，album，artist 这些信息放到文件末尾，格式简单，编码是 ascii，所以不支持中文，而且有一个很大的问题是定长，30 个 char，于是后来演变出另外一种， id3v2，而这个 id3v2 还分为 id3v2.3，这个是目前最多的，也是兼容性最好的，他把这些信息放到文件头部，而且不定长，而且字段不定，所以灵活性很高，可扩展性很强，字符的编码可以是 ascii，或者 utf-8，但是 windows 对于 utf-8 的支持不好，所以如果是用 utf-8 的话，在资源管理器里面是看不出来的，所以 qq 音乐，千千静听这些，默认都是 id3v2.3 的 iso-8859-1，说是 iso-8859-1，其实本质上是 gbk，而 itunes 对于 gbk 和 utf-8 的解码都是没有问题的，所以最皆大欢喜的做法就是用 id3v2.3 的 iso-8859-1(gbk) 来编码，然后嵌入图形文件当作封面，这个 id3v2 还有一个 id3v2.4，这个比较新，所以不怎么广泛，他的优势是标签信息可以在文件头，也可以在文件尾，在文件头的劣势显而易见，每次改写都要重写整个文件，磁盘读写量很大，除了 id3v2，还有一种格式叫做 apev2，这个也比较先进，可惜的是普及率也不高。

方针路线定了，接下来就是实干了，照着前面几篇博客的代码，敲敲打打的得到下面这个代码

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# 2012.12.3

'''根据豆瓣自动补全专辑封面'''

import os, sys, re, time, urllib, eyeD3

import logging
logging.basicConfig(filename = 'log%s.txt' % time.time(), 
                    filemode = 'w', 
                    format = '[%(levelname)s] [%(asctime)s] %(message)s', 
                    level = logging.DEBUG)

def fillCover(filename):
    logging.info('processing %s' % filename)
    t = eyeD3.Tag()

    try:
        t.link(filename)
    except:
        logging.error('can not open file')
        return False

    images = t.getImages()
    if len(images) > 0:
        logging.info('alreay has cover images')
        return True

    title = t.getTitle()
    album = t.getAlbum()
    artist = t.getArtist()
    logging.debug('title is %s' % title)
    logging.debug('album is %s' % album)
    logging.debug('artist is %s' % artist)

    if title and artist:
        keyword = ' '.join([title, artist])
        keyword = keyword.encode('utf-8')
    else:
        logging.debug('no id3 tags')
        keyword = filename.split('\')[-1].split('.')[0]
        keyword = keyword.encode('gbk')
    logging.debug('keyword is %s' % keyword)

    doubanSearchAPI = 'http://api.douban.com/v2/music/search?q={0}'
    request = doubanSearchAPI.format(urllib.quote(keyword))
    logging.debug('request is %s' % request)
    result = urllib.urlopen(request).read()
    logging.debug('result is %s' % result)

    # 豆瓣 API 限制是每分钟 10 次请求
    # http://developers.douban.com/wiki/?title=api_v2
    #logging.warn('sleep for 6 sec')
    #time.sleep(6)

    if not result:
        return False
    doubanCoverPattern = 's(d+).jpg'
    doubanCoverURL = 'http://img3.douban.com/lpic/s{0}.jpg'
    match = re.search(doubanCoverPattern, result, re.IGNORECASE)
    if match:
        coverFileURL = doubanCoverURL.format(match.groups()[0])
        logging.debug('cover image url is %s' % coverFileURL)
    else:
        logging.debug('no cover image url matched')
        return False

    try:
        logging.debug('downloading cover image file')
        coverFileName = ' - '.join([artist, album])+'.jpg'
        f = file(coverFileName, 'wb')
        f.write(urllib.urlopen(coverFileURL).read())
        f.close()
        logging.debug('download finished')
    except:
        logging.error('download error')

    try:
        logging.debug('adding image')
        t.addImage(3, coverFileName, u'')
        t.update()
        logging.info('successfully add image')
        return True
    except:
        logging.error('add image error')
        return False


def main():
    if len(sys.argv) < 2:
        print 'usage: %s /path/to/your/music/folder/' % __file__
        return False
    for i in os.listdir(sys.argv[1]):
        fillCover(os.path.join(sys.argv[1], i))

if __name__ == '__main__':
    main()

这份代码在英文歌曲下，基本没有问题，可以比较顺利的跑，但是，中文，又是恶心的编码问题，由于现有的歌曲中，id3v2.3 的编码方式有些是 gbk ，有些是 utf-8，这个就比较麻烦了，不过千千静听有一个批量编辑文件属性的功能，可以在那里面，把所有文件的编码方式统一，可惜的是，这个 py 库到目前我发现他只支持 utf-8，对于 gbk 会乱码，于是我现在对于中文歌曲的处理方法是，全部拖进千千静听，转成 id3v2.3 的 utf-8，然后用这份代码去跑，跑完了，事实上图片已经钱嵌进去了，但是在 windows 的资源管理器中看不到，在 itunes 中可以，在 airplay 中也可以，但是如果这个时候再用千千静听把所有的编码都转换回 gbk，就会丢失了专辑封面，这个就很麻烦，目前就卡在这里

接下来的话，最理想的情况当然是研究清楚这个 py 库，然后让他可以处理 gbk 的标签，然后用千千静听把所有的标签转成 gbk，再用这份代码去下载封面，这样就你好我好大家好了

历史评论

Python eyeD3 库的乱码问题初步 | ZRJ (2012-12-07 13:04:26):

[…] 文章导航 ← 上一篇 […]

根据 ID3 自动补充专辑封面和歌词

Thu, 30 Aug 2012 10:17:31 +0800

最近在搞 C# ，起因是我喜欢的播放器 aiplay ，这个东西的作者不维护了，也不是，是做了第三版，但是却比现在烂很多，于是我一直在用第二版的，但是歌词服务器，专辑封面服务器都关了，于是用着就略不爽，想着怎么补全这两个东西。

顺便附上我喜欢的 airplay AIRPLAY

首先是专辑封面，这个百度了一下，目前好像还没有这样的软件，于是自己研究，看了豆瓣的 API，看到这两个，一个是搜索书籍、电影、音乐，http://developers.douban.com/wiki/?title=subject_1#subject_search，一个是获取音乐信息，http://developers.douban.com/wiki/?title=subject_1#music_get，大概研究了一番，觉得这两个可以搞，于是开搞，后来发现，其实只需要一个搜索的就够了，在搜索的结果中，他会给出专辑封面的 url，例如这个，http://api.douban.com/music/subjects?q=papercut，返回的结果中直接可以解析得到封面，但是有一个小问题，他给的封面都是很小的尺寸的，http://img1.douban.com/spic/s6044101.jpg，例如这个，才 80*80 的像素，这个肯定是不够用的，想起来豆瓣 FM 的封面好像比这个清晰很多啊，于是看了一下电台那边的网络交互，发现其实很简单，只要把 url 中的 spic 换成 lpic 就行了，。。这个。。略坑爹啊。。（不过后来在实现的过程中发现豆瓣的图片服务器还是不稳定的，经常出现 504 的情况，不管大图小图都会出），有了思路就好办了，于是用 C# 现学现用，写了一个根据 ID3 补全专辑封面的小工具，呵呵，第一次写桌面客户端，很多东西就将就的，不过磕磕碰碰总算写出了个大概了，附上半成品，（半成品的意思就是说使用有风险，可能毁文件或者乱崩溃，请谨慎，多备份源文件）

点此下载

另外附上源码，写的很丑，将就用吧（环境是 vs2008）

MP3ID3源代码

解压缩开来的到一个 exe，运行就是了，（需要 .net framework 3.5 环境，这个 win7 自带，xp 自带的好像是 2.0，所以 xp 的话需要自己先装一个 3.5），界面如下图

往列表中拖入 MP3 文件，（只能拖 MP3 文件，不能拖其他，也不能拖文件夹，这个还没做，将就吧），然后双击某一个文件可以看到他里面已经内嵌的歌词和封面，点击 start 就可以开始自动对所有列表中的文件去拉取封面了，（这里需要说明的是，豆瓣比较恶心，API 每分钟只能请求 10 次，于是我只能让每个文件请求后都休眠 6 秒钟了，所以这个东西最好放到睡觉前跑，一觉起来就跑得差不多了，如果有申请豆瓣的 API key 的话，可以修改源代码，去掉这个限制），拉取回来自动嵌入封面就算完了，然后就下一首。在这个过程中会在 exe 的所在文件夹下生成一个 log 的日志，还算比较详尽，一般出错的原因都可以从这个得到

另外那个 force over write 的选项的意思是，是否要强制覆盖写入，默认情况下，如果一首歌曲里面有内嵌图片的话，那么就会跳过，勾选这个可以无视已有的图片，强制覆盖写入。

一个已知的问题是，读取中文的标签信息时候会乱码，这个暂时没有很好的解法，应付的解法可以看这里，Taglib 读取中文 ID3 标签时乱码，http://zrj.me/archives/389，可以暂解燃眉之急。

这个搞完就剩下歌词了，歌词就容易了，我想起来以前用千千静听的时候，他是可以自动下载歌词的，但是没有开放接口，哈哈，笨人自然有笨办法，搞一个按键精灵嘛，每两秒钟自动触发一次 ctrl alt → 三个组合键的全局热键，让他去播放下一首的时候自动下载不就行了，音量调成静音，很快就好了

至此这个小项目应该就算结束了，不过这次的过程中 C# 和 .NET 给我留下了良好的印象（承认自己喜欢 C# .NET 是需要勇气的啊，要知道鄙视 C# .NET 是高手必备的素质之一啊，哈哈），这次时间紧，还有其他东西要赶，将来还会继续学的，主要还是通过这个学点多线程，学点系统本身的环境调用等等，这个领域还是很大的，作为新手用这种高层语言自然最适合不过了，类似数组越界异常处理这些东西，都有虚拟机帮忙把关，其实是降低了学习曲线，不然一上来就用 windows api 去写一个类似我这样的应用程序，新手不被各种小细节烦的崩溃才怪，现在沙盒里面练练手，熟悉之后再踏上征途嘛。不管怎么说，作为一个刚学 C# 三四天，第一个练习的项目做成这样的情况来说，我还是能及格的。

历史评论

再次折腾专辑封面 | ZRJ (2012-12-03 23:54:18):

[…] 最近 itunes 升级，于是重新在整理音乐文件，看到那些没有专辑封面的 mp3，于是骨子里的不折腾不舒服斯基又发作了，手贱准备再次开始写一个自动工具来搞，上次的折腾记录在这里，根据 ID3 自动补充专辑封面和歌词 […]

Taglib 读取 MP3 内嵌专辑图

Wed, 29 Aug 2012 10:23:53 +0800

taglib 是一个 c# 的库，用来读写 ID3 的标签还是很好用的，昨天在折腾读取图片的问题，搞了好久，最后找到这里，http://geekswithblogs.net/sonam/archive/2009/06/11/extracting-album-from-an-audio-file.aspx

不过自己改写了一下，发现可以不用这么多，最后如下

TagLib.IPicture[] pictures = f.Tag.Pictures;
if (pictures.Length > 0)
{
	Byte[] bytes = pictures[0].Data.ToArray();
	System.IO.MemoryStream ms = new System.IO.MemoryStream(bytes);
	System.Drawing.Bitmap bitmap = new System.Drawing.Bitmap(ms);
	this.pictureBoxCover.Image = bitmap;
}
else
{
	this.pictureBoxCover.Image = null;
}