从 cue_scanner.l 看 CUE Sheet 的词法单元

CUE 这个格式对我而言一直是个很神秘的存在。在各种地方都能看见它的身影，直接打开也能看懂一些东西，但想要细说就做不到了。说到底，还是不知道它到底代表了什么，只能把它当播放列表来看。于是下定了决心要好好研究一下，于是就有了这篇文章。

研究目标

我们的研究目标是 libcue[1]。根据仓库的说法，这是 cuetools 中 cue 相关部分的 fork 增强。不管怎么说，这是一个 CUE 解释器的完整实现。

这篇文章我们来研究其中的词法分析部分[2]。

开始

1
%{
2
/*
3
 * Copyright (c) 2004, 2005, 2006, 2007, Svend Sorensen
4
 * Copyright (c) 2009, 2010 Jochen Keil
5
 * For license terms, see the file COPYING in this distribution.
6
 */
7

8
#include <stdlib.h>
9
#include <string.h>
10

11
#include "cd.h"
12
#include "cue_parser.h"
13

14
char yy_buffer[PARSER_BUFFER];
15

16
int yylex(void);
17
%}

开头没什么太多特别的。根据 lex 的语法，由 %{ 和 }% 包裹的部分都会被原样复制到输出中。

空白符与非空白符

1
ws    [ \t\r]
2
nonws    [^ \t\r\n]

这里定义了空格、制表符和 \r 为空白符 ws，而除空白符和 \n 之外的符号都为非空白符 nonws。

词法分析器选项

1
%option yylineno
2
%option noyywrap
3
%option noinput
4
%option nounput

接下来的四行规定了词法分析器的一些选项，具体如下：

yylineno：使用全局变量 yylineno 表示当前词法分析的行号
noyywrap：不定义 yywrap 函数
noinput：不使用 input 函数
nounput：不适用 unput 函数

关于 noinput 和 nounput 的相关信息，可以参考 StackOverflow 的这篇文章[3]。

开始条件

1
%s NAME
2
%x REM
3
%x RPG
4
%x SKIP

%s 和 %x 可以用于定义词法规则的开始条件。其中：

%s 定义包含性（inclusive）的开始条件，匹配时包含无开始条件的规则。
%x 定义排他性（exclusive）的开始条件，匹配时不包含无开始条件的规则。

通过中括号 <nameA, nameB> 使用开始条件，逗号表示关系或。

开始条件 INITIAL 表示默认的开始条件，即无开始条件。

通过 BEGIN 行为（Action）激活对应的开始条件，如：BEGIN(INITIAL)。

更加详细的说明可以查阅文档[4]。

字符串

显式字符串

1
\'([^\']|\\\')*\'  |
2
\"([^\"]|\\\")*\"  {
3
    yylval.sval = strncpy(  yy_buffer,
4
                ++yytext,
5
                (yyleng > sizeof(yy_buffer) ? sizeof(yy_buffer) : yyleng));
6
    yylval.sval[(yyleng > sizeof(yy_buffer) ? sizeof(yy_buffer) : yyleng) - 2] = '\0';
7
    BEGIN(INITIAL);
8
    return STRING;
9
}

显式字符串表示的是由引号（单引号或双引号）包裹的字符串，通过转义字符 \ 可以保留引号本身。

隐式字符串

1
<NAME>{nonws}+  {
2
    yylval.sval = strncpy(  yy_buffer,
3
                yytext,
4
                (yyleng > sizeof(yy_buffer) ? sizeof(yy_buffer) : yyleng));
5
    yylval.sval[(yyleng > sizeof(yy_buffer) ? sizeof(yy_buffer) : yyleng)] = '\0';
6
    BEGIN(INITIAL);
7
    return STRING;
8
}

隐式字符串表示的是不由引号包裹的字符串。这样的字符串在开始条件 NAME 之后出现，由非空白字符（nonws）组成。

典型的此类字符串是 REM GENRE Game。在这个字符串中，REM 和 GENRE 是 Token，而 Game 则是一个没有引号包裹的字符串。

字符串处理

字符串捕获后被复制到 yy_buffer 中，返回 Token 的类型为 STRING。

字符串捕获完成后，开始条件被重设为 INITIAL。

词法单元

依赖后续名称（1）

1
CATALOG    { BEGIN(NAME); return CATALOG; }
2
CDTEXTFILE  { BEGIN(NAME); return CDTEXTFILE; }
3

4
FILE    { BEGIN(NAME); return FFILE; }

上述的三个 Token，包括 CATALOG、CDTEXTFILE 和 FILE 都依赖后续字符串。

简单词法单元

1
BINARY    { return BINARY; }
2
MOTOROLA  { return MOTOROLA; }
3
AIFF    { return AIFF; }
4
WAVE    { return WAVE; }
5
MP3    { return MP3; }
6
FLAC    { return FLAC; }
7

8
TRACK    { return TRACK; }
9
AUDIO    { yylval.ival = MODE_AUDIO; return AUDIO; }
10
MODE1\/2048  { yylval.ival = MODE_MODE1; return MODE1_2048; }
11
MODE1\/2352  { yylval.ival = MODE_MODE1_RAW; return MODE1_2352; }
12
MODE2\/2336  { yylval.ival = MODE_MODE2; return MODE2_2336; }
13
MODE2\/2048  { yylval.ival = MODE_MODE2_FORM1; return MODE2_2048; }
14
MODE2\/2342  { yylval.ival = MODE_MODE2_FORM2; return MODE2_2342; }
15
MODE2\/2332  { yylval.ival = MODE_MODE2_FORM_MIX; return MODE2_2332; }
16
MODE2\/2352  { yylval.ival = MODE_MODE2_RAW; return MODE2_2352; }
17

18
FLAGS    { return FLAGS; }
19
PRE    { yylval.ival = FLAG_PRE_EMPHASIS; return PRE; }
20
DCP    { yylval.ival = FLAG_COPY_PERMITTED; return DCP; }
21
4CH    { yylval.ival = FLAG_FOUR_CHANNEL; return FOUR_CH; }
22
SCMS    { yylval.ival = FLAG_SCMS; return SCMS; }
23

24
PREGAP    { return PREGAP; }
25
INDEX    { return INDEX; }
26
POSTGAP    { return POSTGAP; }

上述的这些都是简单词法单元，只需要进行文本匹配即可。

依赖后续名称（2）

1
TITLE    { BEGIN(NAME); yylval.ival = PTI_TITLE;  return TITLE; }
2
PERFORMER  { BEGIN(NAME); yylval.ival = PTI_PERFORMER;  return PERFORMER; }
3
SONGWRITER  { BEGIN(NAME); yylval.ival = PTI_SONGWRITER;  return SONGWRITER; }
4
COMPOSER  { BEGIN(NAME); yylval.ival = PTI_COMPOSER;  return COMPOSER; }
5
ARRANGER  { BEGIN(NAME); yylval.ival = PTI_ARRANGER;  return ARRANGER; }
6
MESSAGE    { BEGIN(NAME); yylval.ival = PTI_MESSAGE;  return MESSAGE; }
7
DISC_ID    { BEGIN(NAME); yylval.ival = PTI_DISC_ID;  return DISC_ID; }
8
GENRE    { BEGIN(NAME); yylval.ival = PTI_GENRE;  return GENRE; }
9
TOC_INFO1  { BEGIN(NAME); yylval.ival = PTI_TOC_INFO1;  return TOC_INFO1; }
10
TOC_INFO2  { BEGIN(NAME); yylval.ival = PTI_TOC_INFO2;  return TOC_INFO2; }
11
UPC_EAN    { BEGIN(NAME); yylval.ival = PTI_UPC_ISRC;  return UPC_EAN; }
12
ISRC/{ws}+\"  { BEGIN(NAME); yylval.ival = PTI_UPC_ISRC;  return ISRC; }
13
SIZE_INFO  { BEGIN(NAME); yylval.ival = PTI_SIZE_INFO;  return SIZE_INFO; }
14

15
ISRC    { BEGIN(NAME); return TRACK_ISRC; }

这些词法单元在依赖后续名称（NAME）的基础上还调整了对应的 yylval 的值。

注释（`REM`）

注释类型

1
<REM>DATE      { BEGIN(NAME); yylval.ival = REM_DATE; return DATE; }
2
<REM>GENRE      { BEGIN(NAME); yylval.ival = PTI_GENRE; return XXX_GENRE; }
3
<REM>REPLAYGAIN_ALBUM_GAIN   { BEGIN(RPG); yylval.ival = REM_REPLAYGAIN_ALBUM_GAIN;
4
              return REPLAYGAIN_ALBUM_GAIN; }
5
<REM>REPLAYGAIN_ALBUM_PEAK  { BEGIN(RPG); yylval.ival = REM_REPLAYGAIN_ALBUM_PEAK;
6
              return REPLAYGAIN_ALBUM_PEAK; }
7
<REM>REPLAYGAIN_TRACK_GAIN  { BEGIN(RPG); yylval.ival = REM_REPLAYGAIN_TRACK_GAIN;
8
              return REPLAYGAIN_TRACK_GAIN; }
9
<REM>REPLAYGAIN_TRACK_PEAK  { BEGIN(RPG); yylval.ival = REM_REPLAYGAIN_TRACK_PEAK;
10
              return REPLAYGAIN_TRACK_PEAK; }

这里定义了 REM 的种类，包括 DATE、GENRE 等六种类型。其中 REPLAYGAIN 的四种在解析后会进入 RPG 开始条件。

空白字符与错误容忍

1
<REM>{ws}+  { BEGIN(REM); }
2
<REM>.    { BEGIN(REM); }

REM 条件下跳过所有的空白字符，而对于没有被之前规则匹配到的任意字符（.）也跳过处理。

结束

1
<REM>\n    { BEGIN(INITIAL); }

当遇到换行符时，REM 结束。这也意味着 REM 注释只能在一行内完成。

回放增益（`RPG`）

回放增益（英语：Replay Gain）是一个于2001年7月12日被公开提出的标准，用于将像 MP3 或 Ogg Vorbis 等格式的数字化音频的可感知响度进行标准化（Normalize）处理[5]。

回访增益处理

1
<RPG>{nonws}+  {
2
    yylval.sval = strncpy(  yy_buffer,
3
                yytext,
4
                (yyleng > sizeof(yy_buffer) ? sizeof(yy_buffer) : yyleng));
5
    yylval.sval[(yyleng > sizeof(yy_buffer) ? sizeof(yy_buffer) : yyleng)] = '\0';
6
    BEGIN(SKIP);
7
    return STRING;
8
}

回访增益只取一个由非空字符构成的串。在获得这个字符串后，进入 SKIP 开始条件。

空字符处理

1
<RPG>{ws}+  { BEGIN(RPG); }

RPG 中忽视所有空字符。

`SKIP` 处理

1
<SKIP>.*\n  { BEGIN(INITIAL); yylineno++; return '\n'; }

忽略所有 SKIP 条件下的字符，直到新行出现，进入 INITIAL 状态。

全局空字符处理

1
{ws}+    { /* ignore whitespace */ }

全局忽略空字符。

数字

1
[[:digit:]]+  { yylval.ival = atoi(yytext); return NUMBER; }

对数字进行解析。

冒号

1
:    { return yytext[0]; }

不是很清楚为什么冒号需要单独处理，总之这里是捕获了冒号（

空行

1
^{ws}*\n  { yylineno++; /* blank line */ }
2
\n    { yylineno++; return '\n'; }

定义只存在空白字符或不存在字符的行为空行，对空行只增加行号，不进行其他处理。

结束：全局错误

1
.    { fprintf(stderr, "bad character '%c'\n", yytext[0]); }

对解析到这一步还没有被辨识的字符，报 bad character 错误。

结语

对于 CUE 格式，还有其他各种资料可考。在这篇文章写完之后，我在 GitHub 上找到了一份整理好的说明[6]，可供参考。

这里遗漏了一些很关键的东西，比如词法单元的声明，这些我们留到下一篇介绍 cue_parser.y 的时候再谈也不迟（笑）