char *token(src, tok, size)
char *src, *tok;
int size;
{
  register int quotef;
  register char c;
  while (*src == ' ' || *src == '\t')
    ++src;
  quotef = 0;
  while (*src) {
    if (*src == '~') {
      ++src;
      if (*src == 0)
        break;
      switch (*src++) {
      case 'r':
        c = 13;
        break;
      case 'n':
        c = 13;
        break;
      case 'l':
        c = 10;
        break;
      case 't':
        c = 9;
        break;
      case 'b':
        c = 8;
        break;
      case 'f':
        c = 12;
        break;
      default:
        c = *(src - 1);
      }
      if (--size > 0) {
        *tok++ = c;
      }
    } else {
      if (quotef) {
        if (*src == '"')
          break;
      } else {
        if (*src == ' ' || *src == '\t')
          break;
      }
      if (*src == '"')
        quotef = 1;
      c = *src++;
      if (--size > 0)
        *tok++ = c;
    }
  }
  if (*src)
    ++src;
  *tok = 0;
  return (src);
}


x86 assembly (clang, -O0):
<token>:
push   %rbp
mov    %rsp,%rbp
mov    %rdi,-0x8(%rbp)
mov    %rsi,-0x10(%rbp)
mov    %edx,-0x14(%rbp)
mov    -0x8(%rbp),%rax
movsbl (%rax),%ecx
mov    $0x1,%al
cmp    $0x20,%ecx
mov    %al,-0x1a(%rbp)
je     1134 <token+0x34>
mov    -0x8(%rbp),%rax
movsbl (%rax),%eax
cmp    $0x9,%eax
sete   %al
mov    %al,-0x1a(%rbp)
mov    -0x1a(%rbp),%al
test   $0x1,%al
jne    1144 <token+0x44>
jmp    1155 <token+0x55>
mov    -0x8(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x8(%rbp)
jmp    110f <token+0xf>
movl   $0x0,-0x18(%rbp)
mov    -0x8(%rbp),%rax
cmpb   $0x0,(%rax)
je     12e6 <token+0x1e6>
mov    -0x8(%rbp),%rax
movsbl (%rax),%eax
cmp    $0x7e,%eax
jne    123d <token+0x13d>
mov    -0x8(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x8(%rbp)
mov    -0x8(%rbp),%rax
movsbl (%rax),%eax
cmp    $0x0,%eax
jne    119a <token+0x9a>
jmp    12e6 <token+0x1e6>
mov    -0x8(%rbp),%rax
mov    %rax,%rcx
add    $0x1,%rcx
mov    %rcx,-0x8(%rbp)
movsbl (%rax),%eax
add    $0xffffff9e,%eax
mov    %eax,%ecx
mov    %rcx,-0x28(%rbp)
sub    $0x12,%eax
ja     1208 <token+0x108>
mov    -0x28(%rbp),%rax
lea    0xe37(%rip),%rcx
movslq (%rcx,%rax,4),%rax
add    %rcx,%rax
jmp    *%rax
movb   $0xd,-0x19(%rbp)
jmp    1212 <token+0x112>
movb   $0xd,-0x19(%rbp)
jmp    1212 <token+0x112>
movb   $0xa,-0x19(%rbp)
jmp    1212 <token+0x112>
movb   $0x9,-0x19(%rbp)
jmp    1212 <token+0x112>
movb   $0x8,-0x19(%rbp)
jmp    1212 <token+0x112>
movb   $0xc,-0x19(%rbp)
jmp    1212 <token+0x112>
mov    -0x8(%rbp),%rax
mov    -0x1(%rax),%al
mov    %al,-0x19(%rbp)
mov    -0x14(%rbp),%eax
add    $0xffffffff,%eax
mov    %eax,-0x14(%rbp)
cmp    $0x0,%eax
jle    1238 <token+0x138>
mov    -0x19(%rbp),%cl
mov    -0x10(%rbp),%rax
mov    %rax,%rdx
add    $0x1,%rdx
mov    %rdx,-0x10(%rbp)
mov    %cl,(%rax)
jmp    12e1 <token+0x1e1>
cmpl   $0x0,-0x18(%rbp)
je     1261 <token+0x161>
mov    -0x8(%rbp),%rax
movsbl (%rax),%eax
cmp    $0x22,%eax
jne    125c <token+0x15c>
jmp    12e6 <token+0x1e6>
jmp    128b <token+0x18b>
mov    -0x8(%rbp),%rax
movsbl (%rax),%eax
cmp    $0x20,%eax
je     1281 <token+0x181>
mov    -0x8(%rbp),%rax
movsbl (%rax),%eax
cmp    $0x9,%eax
jne    1286 <token+0x186>
jmp    12e6 <token+0x1e6>
jmp    128b <token+0x18b>
mov    -0x8(%rbp),%rax
movsbl (%rax),%eax
cmp    $0x22,%eax
jne    12a2 <token+0x1a2>
movl   $0x1,-0x18(%rbp)
mov    -0x8(%rbp),%rax
mov    %rax,%rcx
add    $0x1,%rcx
mov    %rcx,-0x8(%rbp)
mov    (%rax),%al
mov    %al,-0x19(%rbp)
mov    -0x14(%rbp),%eax
add    $0xffffffff,%eax
mov    %eax,-0x14(%rbp)
cmp    $0x0,%eax
jle    12dc <token+0x1dc>
mov    -0x19(%rbp),%cl
mov    -0x10(%rbp),%rax
mov    %rax,%rdx
add    $0x1,%rdx
mov    %rdx,-0x10(%rbp)
mov    %cl,(%rax)
jmp    12e1 <token+0x1e1>
jmp    115c <token+0x5c>
mov    -0x8(%rbp),%rax
cmpb   $0x0,(%rax)
je     12ff <token+0x1ff>
mov    -0x8(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x8(%rbp)
mov    -0x10(%rbp),%rax
movb   $0x0,(%rax)
mov    -0x8(%rbp),%rax
pop    %rbp
ret

x86 assembly (clang, -O2):
<token>:
mov    %rdi,%rax
jmp    1114 <token+0x14>
cs nopw 0x0(%rax,%rax,1)
nop
add    $0x1,%rax
movzbl (%rax),%ecx
cmp    $0x9,%cl
je     1110 <token+0x10>
cmp    $0x20,%cl
je     1110 <token+0x10>
xor    %r11d,%r11d
mov    $0x365,%r8d
lea    0xecf(%rip),%r9
mov    $0x1,%r10d
jmp    114c <token+0x4c>
nopl   0x0(%rax)
mov    %cl,(%rsi)
add    $0x1,%rsi
add    $0xffffffff,%edx
movzbl (%rax),%ecx
cmp    $0x7e,%cl
je     1170 <token+0x70>
test   %cl,%cl
je     11c3 <token+0xc3>
test   %r11d,%r11d
je     119d <token+0x9d>
cmp    $0x22,%cl
jne    11a7 <token+0xa7>
jmp    11c1 <token+0xc1>
cs nopw 0x0(%rax,%rax,1)
nopl   0x0(%rax,%rax,1)
movsbl 0x1(%rax),%ecx
test   %ecx,%ecx
je     11b9 <token+0xb9>
mov    %ecx,%edi
add    $0xffffff9e,%edi
ror    %edi
cmp    $0x9,%edi
ja     1192 <token+0x92>
bt     %edi,%r8d
jae    1192 <token+0x92>
movslq %edi,%rcx
movzbl (%rcx,%r9,1),%ecx
add    $0x2,%rax
cmp    $0x1,%edx
jg     1140 <token+0x40>
jmp    1146 <token+0x46>
cmp    $0x9,%cl
je     11c3 <token+0xc3>
cmp    $0x20,%cl
je     11c3 <token+0xc3>
cmp    $0x22,%cl
cmove  %r10d,%r11d
add    $0x1,%rax
cmp    $0x2,%edx
jge    1140 <token+0x40>
jmp    1146 <token+0x46>
add    $0x1,%rax
xor    %ecx,%ecx
jmp    11c3 <token+0xc3>
mov    $0x22,%cl
cmp    $0x1,%cl
sbb    $0xffffffffffffffff,%rax
movb   $0x0,(%rsi)
ret

LLVM IR (-O0):
define i8* @token(i8* %0, i8* %1, i32 %2) {
%4 = alloca i8*
%5 = alloca i8*
%6 = alloca i32
%7 = alloca i32
%8 = alloca i8
store i8* %0, i8** %4
store i8* %1, i8** %5
store i32 %2, i32* %6
br label %9
9: ; preds = %21, %3
%10 = load i8*, i8** %4
%11 = load i8, i8* %10
%12 = sext i8 %11 to i32
%13 = icmp eq i32 %12, 32
br i1 %13, label %19, label %14
14: ; preds = %9
%15 = load i8*, i8** %4
%16 = load i8, i8* %15
%17 = sext i8 %16 to i32
%18 = icmp eq i32 %17, 9
br label %19
19: ; preds = %14, %9
%20 = phi i1 [ true, %9 ], [ %18, %14 ]
br i1 %20, label %21, label %24
21: ; preds = %19
%22 = load i8*, i8** %4
%23 = getelementptr inbounds i8, i8* %22, i32 1
store i8* %23, i8** %4
br label %9
24: ; preds = %19
store i32 0, i32* %7
br label %25
25: ; preds = %106, %24
%26 = load i8*, i8** %4
%27 = load i8, i8* %26
%28 = icmp ne i8 %27, 0
br i1 %28, label %29, label %107
29: ; preds = %25
%30 = load i8*, i8** %4
%31 = load i8, i8* %30
%32 = sext i8 %31 to i32
%33 = icmp eq i32 %32, 126
br i1 %33, label %34, label %66
34: ; preds = %29
%35 = load i8*, i8** %4
%36 = getelementptr inbounds i8, i8* %35, i32 1
store i8* %36, i8** %4
%37 = load i8*, i8** %4
%38 = load i8, i8* %37
%39 = sext i8 %38 to i32
%40 = icmp eq i32 %39, 0
br i1 %40, label %41, label %42
41: ; preds = %34
br label %107
42: ; preds = %34
%43 = load i8*, i8** %4
%44 = getelementptr inbounds i8, i8* %43, i32 1
store i8* %44, i8** %4
%45 = load i8, i8* %43
%46 = sext i8 %45 to i32
switch i32 %46, label %53 [
i32 114, label %47
i32 110, label %48
i32 108, label %49
i32 116, label %50
i32 98, label %51
i32 102, label %52
]
47: ; preds = %42
store i8 13, i8* %8
br label %57
48: ; preds = %42
store i8 13, i8* %8
br label %57
49: ; preds = %42
store i8 10, i8* %8
br label %57
50: ; preds = %42
store i8 9, i8* %8
br label %57
51: ; preds = %42
store i8 8, i8* %8
br label %57
52: ; preds = %42
store i8 12, i8* %8
br label %57
53: ; preds = %42
%54 = load i8*, i8** %4
%55 = getelementptr inbounds i8, i8* %54, i64 -1
%56 = load i8, i8* %55
store i8 %56, i8* %8
br label %57
57: ; preds = %53, %52, %51, %50, %49, %48, %47
%58 = load i32, i32* %6
%59 = add nsw i32 %58, -1
store i32 %59, i32* %6
%60 = icmp sgt i32 %59, 0
br i1 %60, label %61, label %65
61: ; preds = %57
%62 = load i8, i8* %8
%63 = load i8*, i8** %5
%64 = getelementptr inbounds i8, i8* %63, i32 1
store i8* %64, i8** %5
store i8 %62, i8* %63
br label %65
65: ; preds = %61, %57
br label %106
66: ; preds = %29
%67 = load i32, i32* %7
%68 = icmp ne i32 %67, 0
br i1 %68, label %69, label %76
69: ; preds = %66
%70 = load i8*, i8** %4
%71 = load i8, i8* %70
%72 = sext i8 %71 to i32
%73 = icmp eq i32 %72, 34
br i1 %73, label %74, label %75
74: ; preds = %69
br label %107
75: ; preds = %69
br label %88
76: ; preds = %66
%77 = load i8*, i8** %4
%78 = load i8, i8* %77
%79 = sext i8 %78 to i32
%80 = icmp eq i32 %79, 32
br i1 %80, label %86, label %81
81: ; preds = %76
%82 = load i8*, i8** %4
%83 = load i8, i8* %82
%84 = sext i8 %83 to i32
%85 = icmp eq i32 %84, 9
br i1 %85, label %86, label %87
86: ; preds = %81, %76
br label %107
87: ; preds = %81
br label %88
88: ; preds = %87, %75
%89 = load i8*, i8** %4
%90 = load i8, i8* %89
%91 = sext i8 %90 to i32
%92 = icmp eq i32 %91, 34
br i1 %92, label %93, label %94
93: ; preds = %88
store i32 1, i32* %7
br label %94
94: ; preds = %93, %88
%95 = load i8*, i8** %4
%96 = getelementptr inbounds i8, i8* %95, i32 1
store i8* %96, i8** %4
%97 = load i8, i8* %95
store i8 %97, i8* %8
%98 = load i32, i32* %6
%99 = add nsw i32 %98, -1
store i32 %99, i32* %6
%100 = icmp sgt i32 %99, 0
br i1 %100, label %101, label %105
101: ; preds = %94
%102 = load i8, i8* %8
%103 = load i8*, i8** %5
%104 = getelementptr inbounds i8, i8* %103, i32 1
store i8* %104, i8** %5
store i8 %102, i8* %103
br label %105
105: ; preds = %101, %94
br label %106
106: ; preds = %105, %65
br label %25
107: ; preds = %86, %74, %41, %25
%108 = load i8*, i8** %4
%109 = load i8, i8* %108
%110 = icmp ne i8 %109, 0
br i1 %110, label %111, label %114
111: ; preds = %107
%112 = load i8*, i8** %4
%113 = getelementptr inbounds i8, i8* %112, i32 1
store i8* %113, i8** %4
br label %114
114: ; preds = %111, %107
%115 = load i8*, i8** %5
store i8 0, i8* %115
%116 = load i8*, i8** %4
ret i8* %116
}

LLVM IR (-O2):
@switch.table.token = [10 x i8] c"\08\0D\0C\0D\0D\0A\0D\0D\0D\09"
define i8* @token(i8* %0, i8* nocapture writeonly %1, i32 %2) {
br label %4
4: ; preds = %7, %3
%5 = phi i8* [ %0, %3 ], [ %8, %7 ]
%6 = load i8, i8* %5
switch i8 %6, label %9 [
i8 32, label %7
i8 9, label %7
]
7: ; preds = %4, %4
%8 = getelementptr inbounds i8, i8* %5, i64 1
br label %4
9: ; preds = %4, %52
%10 = phi i8 [ %57, %52 ], [ %6, %4 ]
%11 = phi i8* [ %53, %52 ], [ %5, %4 ]
%12 = phi i8* [ %54, %52 ], [ %1, %4 ]
%13 = phi i32 [ %56, %52 ], [ %2, %4 ]
%14 = phi i32 [ %55, %52 ], [ 0, %4 ]
switch i8 %10, label %37 [
i8 0, label %60
i8 126, label %15
]
15: ; preds = %9
%16 = getelementptr inbounds i8, i8* %11, i64 1
%17 = load i8, i8* %16
%18 = icmp eq i8 %17, 0
br i1 %18, label %58, label %19
19: ; preds = %15
%20 = sext i8 %17 to i32
%21 = getelementptr inbounds i8, i8* %11, i64 2
%22 = add nsw i32 %20, -98
%23 = tail call i32 @llvm.fshl.i32(i32 %22, i32 %22, i32 31)
%24 = icmp ult i32 %23, 10
br i1 %24, label %25, label %34
25: ; preds = %19
%26 = trunc i32 %23 to i16
%27 = lshr i16 869, %26
%28 = and i16 %27, 1
%29 = icmp eq i16 %28, 0
br i1 %29, label %34, label %30
30: ; preds = %25
%31 = sext i32 %23 to i64
%32 = getelementptr inbounds [10 x i8], [10 x i8]* @switch.table.token, i64 0, i64 %31
%33 = load i8, i8* %32
br label %34
34: ; preds = %19, %25, %30
%35 = phi i8 [ %33, %30 ], [ %17, %25 ], [ %17, %19 ]
%36 = icmp sgt i32 %13, 1
br i1 %36, label %47, label %52
37: ; preds = %9
%38 = icmp eq i32 %14, 0
br i1 %38, label %41, label %39
39: ; preds = %37
%40 = icmp eq i8 %10, 34
br i1 %40, label %60, label %42
41: ; preds = %37
switch i8 %10, label %42 [
i8 32, label %60
i8 9, label %60
]
42: ; preds = %41, %39
%43 = icmp eq i8 %10, 34
%44 = select i1 %43, i32 1, i32 %14
%45 = getelementptr inbounds i8, i8* %11, i64 1
%46 = icmp sgt i32 %13, 1
br i1 %46, label %47, label %52
47: ; preds = %42, %34
%48 = phi i8 [ %35, %34 ], [ %10, %42 ]
%49 = phi i8* [ %21, %34 ], [ %45, %42 ]
%50 = phi i32 [ %14, %34 ], [ %44, %42 ]
%51 = getelementptr inbounds i8, i8* %12, i64 1
store i8 %48, i8* %12
br label %52
52: ; preds = %47, %42, %34
%53 = phi i8* [ %21, %34 ], [ %45, %42 ], [ %49, %47 ]
%54 = phi i8* [ %12, %34 ], [ %12, %42 ], [ %51, %47 ]
%55 = phi i32 [ %14, %34 ], [ %44, %42 ], [ %50, %47 ]
%56 = add nsw i32 %13, -1
%57 = load i8, i8* %53
br label %9
58: ; preds = %15
%59 = getelementptr inbounds i8, i8* %11, i64 1
br label %60
60: ; preds = %41, %41, %9, %39, %58
%61 = phi i8 [ 0, %58 ], [ 34, %39 ], [ %10, %9 ], [ %10, %41 ], [ %10, %41 ]
%62 = phi i8* [ %59, %58 ], [ %11, %39 ], [ %11, %9 ], [ %11, %41 ], [ %11, %41 ]
%63 = icmp ne i8 %61, 0
%64 = zext i1 %63 to i64
%65 = getelementptr i8, i8* %62, i64 %64
store i8 0, i8* %12
ret i8* %65
}