1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
  
19
  
20
  
21
  
22
  
23
  
24
  
25
  
26
  
27
  
28
  
29
  
30
  
31
  
32
  
33
  
34
  
35
  
36
  
37
  
38
  
39
  
40
  
41
  
42
  
43
  
44
  
45
  
46
  
47
  
48
  
49
  
50
  
51
  
52
  
53
  
54
  
55
  
56
  
57
  
58
  
59
  
60
  
61
  
62
  
63
  
64
  
65
  
66
  
67
  
68
  
69
  
70
  
71
  
72
  
73
  
74
  
75
  
76
  
77
  
78
  
79
  
80
  
81
  
82
  
83
  
84
  
85
  
86
  
87
  
88
  
89
  
90
  
91
  
92
  
93
  
94
  
95
  
96
  
97
  
98
  
99
  
100
  
101
  
102
  
103
  
104
  
105
  
106
  
107
  
108
  
109
  
110
  
111
  
112
  
113
  
114
  
115
  
116
  
117
  
118
  
119
  
120
  
121
  
122
  
123
  
124
  
125
  
126
  
127
  
128
  
129
  
130
  
131
  
132
  
133
  
134
  
135
  
136
  
137
  
138
  
139
  
140
  
141
  
142
  
143
  
START_MARKER 
 
define(test_pike_token,[[ 
test_eq(Parser.Pike.low_split($1)[0],$1) 
]]) 
 
test_equal(Parser.Pike.low_split(""),({})) 
test_pike_token("// 256 tokens") 
test_pike_token("#\"\"") 
test_pike_token("# \"\"") 
test_pike_token("#\"\\\"\"") 
test_pike_token("#\"\\\\\"") 
test_pike_token("#\" \"") 
test_pike_token("#string\"\"") 
test_pike_token("# string\"\"") 
test_pike_token("# string \"\"") 
test_pike_token("#string\" \"") 
test_pike_token("#string<>") 
test_pike_token("# string<>") 
test_pike_token("# string <>") 
test_pike_token("# string < >") 
test_pike_token("#cpp statement") 
test_pike_token("#cpp\\\nstatement") 
test_pike_token("aaA0Ä_") 
test_pike_token("AaA0Ä_") 
test_pike_token("ÄaA0Ä_") 
test_pike_token("_aA0Ä_") 
test_pike_token(".") 
test_pike_token("..") 
test_pike_token("...") 
test_pike_token("0") 
test_pike_token("0x0") 
test_pike_token("0x0aA") 
test_pike_token("0X0") 
test_pike_token("0X0aA") 
test_pike_token("0b0") 
test_pike_token("0b01") 
test_pike_token("0B0") 
test_pike_token("0B01") 
test_pike_token("001234567") 
test_pike_token("1234567890") 
test_pike_token("1.0123456789") 
test_pike_token("1.0123456789E0123456789") 
test_pike_token("1.0123456789e0123456789") 
test_pike_token("1.0123456789E+0123456789") 
test_pike_token("1.0123456789e+0123456789") 
test_pike_token("1.0123456789E-0123456789") 
test_pike_token("1.0123456789e-0123456789") 
test_pike_token("1E0123456789") 
test_pike_token("1e0123456789") 
test_pike_token("1E+0123456789") 
test_pike_token("1e+0123456789") 
test_pike_token("1E-0123456789") 
test_pike_token("1e-0123456789") 
test_pike_token("/") 
test_pike_token("`/") 
test_pike_token("``/") 
test_pike_token("/=") 
test_pike_token("%") 
test_pike_token("`%") 
test_pike_token("``%") 
test_pike_token("%=") 
test_pike_token("*") 
test_pike_token("`*") 
test_pike_token("``*") 
test_pike_token("*=") 
test_pike_token("&") 
test_pike_token("&&") 
test_pike_token("`&") 
test_pike_token("``&") 
test_pike_token("&=") 
test_pike_token("|") 
test_pike_token("||") 
test_pike_token("`|") 
test_pike_token("``|") 
test_pike_token("|=") 
test_pike_token("^") 
test_pike_token("`^") 
test_pike_token("``^") 
test_pike_token("^=") 
test_pike_token("~") 
test_pike_token("`~") 
test_pike_token("+") 
test_pike_token("++") 
test_pike_token("`+") 
test_pike_token("``+") 
test_pike_token("+=") 
test_pike_token("`+=") 
test_pike_token("-") 
test_pike_token("--") 
test_pike_token("`-") 
test_pike_token("``-") 
test_pike_token("-=") 
test_pike_token("<<=") 
test_pike_token("<<") 
test_pike_token("`<<") 
test_pike_token("``<<") 
test_pike_token("<=") 
test_pike_token("<") 
test_pike_token("`<") 
test_pike_token(">>=") 
test_pike_token(">>") 
test_pike_token("`>>") 
test_pike_token("``>>") 
test_pike_token(">=") 
test_pike_token(">") 
test_pike_token("`>") 
test_pike_token("!=") 
test_pike_token("!") 
test_pike_token("`!") 
test_pike_token("==") 
test_pike_token("`==") 
test_pike_token("=") 
test_pike_token("`()") 
test_pike_token("->=") 
test_pike_token("`->=") 
test_pike_token("->") 
test_pike_token("`->") 
test_pike_token("`[]") 
test_pike_token("`[]=") 
test_pike_token("`[..]") 
test_pike_token("{") 
test_pike_token("}") 
test_pike_token("[") 
test_pike_token("]") 
test_pike_token("\50") 
test_pike_token("\51") 
test_pike_token(";") 
test_pike_token("\54") 
test_pike_token("?") 
test_pike_token(":") 
test_pike_token("::") 
test_pike_token("@") 
test_pike_token("/**/") 
test_pike_token("/***/") 
test_pike_token("/* ** **/") 
test_pike_token("' '") 
test_pike_token("'\\''") 
test_pike_token("'\\ '") 
test_pike_token("\"\"") 
test_pike_token("\" \"") 
test_pike_token("\"\\\"\"") 
END_MARKER 
(No newline at end of file)