int get_token(line, char_p, token, treat_spaces)
char *line;
int *char_p;
char token[];
int treat_spaces;
{
  int tok_pos;
  int quoted;
  token[0] = '\0';
  tok_pos = 0;
  if (line[*char_p] == '\0' || line[*char_p] == '\n')
    return (6);
  if (treat_spaces == 1) {
    while (line[*char_p] == ' ' || line[*char_p] == '\t')
      (*char_p)++;
  } else {
    if (isspace(line[*char_p])) {
      while (line[*char_p] == ' ' || line[*char_p] == '\t')
        token[tok_pos++] = line[(*char_p)++];
      token[tok_pos] = '\0';
      return (1);
    }
  }
  if (ispunct(line[*char_p])) {
    if (line[*char_p] != '"') {
      token[tok_pos++] = line[(*char_p)++];
      token[tok_pos] = '\0';
      return (2);
    }
  }
  if (line[*char_p] == '"') {
    (*char_p)++;
    while (line[*char_p] != '\0' && line[*char_p] != '\n') {
      token[tok_pos] = line[(*char_p)++];
      if (token[tok_pos] != '"') {
        tok_pos++;
      } else {
        if (line[*char_p] == '"') {
          tok_pos++;
          (*char_p)++;
        } else {
          token[tok_pos] = '\0';
          return (3);
        }
      }
    }
    token[tok_pos] = '\0';
    return (3);
  }
  if (isalpha(line[*char_p])) {
    while (line[*char_p] != '\0' && line[*char_p] != '\n') {
      token[tok_pos] = line[*char_p];
      if (!(isalnum(line[*char_p]) || line[*char_p] == '_')) {
        token[tok_pos] = '\0';
        return (4);
      }
      tok_pos++;
      (*char_p)++;
    }
    token[tok_pos] = '\0';
    return (4);
  }
  if (isdigit(line[*char_p])) {
    while (line[*char_p] != '\0' && line[*char_p] != '\n') {
      token[tok_pos] = line[*char_p];
      if (!isdigit(line[*char_p])) {
        token[tok_pos] = '\0';
        return (5);
      }
      tok_pos++;
      (*char_p)++;
    }
    token[tok_pos] = '\0';
    return (5);
  }
}


x86 assembly (clang, -O0):
<get_token>:
push   %rbp
mov    %rsp,%rbp
sub    $0x40,%rsp
mov    %rdi,-0x10(%rbp)
mov    %rsi,-0x18(%rbp)
mov    %rdx,-0x20(%rbp)
mov    %ecx,-0x24(%rbp)
mov    -0x20(%rbp),%rax
movb   $0x0,(%rax)
movl   $0x0,-0x28(%rbp)
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x0,%eax
je     11a5 <get_token+0x55>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0xa,%eax
jne    11b1 <get_token+0x61>
movl   $0x6,-0x4(%rbp)
jmp    1644 <get_token+0x4f4>
cmpl   $0x1,-0x24(%rbp)
jne    121a <get_token+0xca>
jmp    11c0 <get_token+0x70>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%ecx
mov    $0x1,%al
cmp    $0x20,%ecx
mov    %al,-0x2d(%rbp)
je     11f5 <get_token+0xa5>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x9,%eax
sete   %al
mov    %al,-0x2d(%rbp)
mov    -0x2d(%rbp),%al
test   $0x1,%al
jne    1205 <get_token+0xb5>
jmp    1215 <get_token+0xc5>
mov    -0x18(%rbp),%rax
mov    (%rax),%ecx
add    $0x1,%ecx
mov    %ecx,(%rax)
jmp    11c0 <get_token+0x70>
jmp    12cf <get_token+0x17f>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%edi
call   1060 <isspace@plt>
cmp    $0x0,%eax
je     12ca <get_token+0x17a>
jmp    123c <get_token+0xec>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%ecx
mov    $0x1,%al
cmp    $0x20,%ecx
mov    %al,-0x2e(%rbp)
je     1271 <get_token+0x121>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x9,%eax
sete   %al
mov    %al,-0x2e(%rbp)
mov    -0x2e(%rbp),%al
test   $0x1,%al
jne    1281 <get_token+0x131>
jmp    12b2 <get_token+0x162>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rdx
mov    (%rdx),%ecx
mov    %ecx,%esi
add    $0x1,%esi
mov    %esi,(%rdx)
movslq %ecx,%rcx
mov    (%rax,%rcx,1),%dl
mov    -0x20(%rbp),%rax
mov    -0x28(%rbp),%ecx
mov    %ecx,%esi
add    $0x1,%esi
mov    %esi,-0x28(%rbp)
movslq %ecx,%rcx
mov    %dl,(%rax,%rcx,1)
jmp    123c <get_token+0xec>
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
movb   $0x0,(%rax,%rcx,1)
movl   $0x1,-0x4(%rbp)
jmp    1644 <get_token+0x4f4>
jmp    12cf <get_token+0x17f>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%edi
call   1050 <ispunct@plt>
cmp    $0x0,%eax
je     134d <get_token+0x1fd>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x22,%eax
je     1348 <get_token+0x1f8>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rdx
mov    (%rdx),%ecx
mov    %ecx,%esi
add    $0x1,%esi
mov    %esi,(%rdx)
movslq %ecx,%rcx
mov    (%rax,%rcx,1),%dl
mov    -0x20(%rbp),%rax
mov    -0x28(%rbp),%ecx
mov    %ecx,%esi
add    $0x1,%esi
mov    %esi,-0x28(%rbp)
movslq %ecx,%rcx
mov    %dl,(%rax,%rcx,1)
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
movb   $0x0,(%rax,%rcx,1)
movl   $0x2,-0x4(%rbp)
jmp    1644 <get_token+0x4f4>
jmp    134d <get_token+0x1fd>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x22,%eax
jne    1465 <get_token+0x315>
mov    -0x18(%rbp),%rax
mov    (%rax),%ecx
add    $0x1,%ecx
mov    %ecx,(%rax)
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%ecx
xor    %eax,%eax
cmp    $0x0,%ecx
mov    %al,-0x2f(%rbp)
je     13a5 <get_token+0x255>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0xa,%eax
setne  %al
mov    %al,-0x2f(%rbp)
mov    -0x2f(%rbp),%al
test   $0x1,%al
jne    13b5 <get_token+0x265>
jmp    144d <get_token+0x2fd>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rdx
mov    (%rdx),%ecx
mov    %ecx,%esi
add    $0x1,%esi
mov    %esi,(%rdx)
movslq %ecx,%rcx
mov    (%rax,%rcx,1),%dl
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
mov    %dl,(%rax,%rcx,1)
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x22,%eax
je     13fa <get_token+0x2aa>
mov    -0x28(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x28(%rbp)
jmp    1448 <get_token+0x2f8>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x22,%eax
jne    142b <get_token+0x2db>
mov    -0x28(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x28(%rbp)
mov    -0x18(%rbp),%rax
mov    (%rax),%ecx
add    $0x1,%ecx
mov    %ecx,(%rax)
jmp    1443 <get_token+0x2f3>
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
movb   $0x0,(%rax,%rcx,1)
movl   $0x3,-0x4(%rbp)
jmp    1644 <get_token+0x4f4>
jmp    1448 <get_token+0x2f8>
jmp    1370 <get_token+0x220>
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
movb   $0x0,(%rax,%rcx,1)
movl   $0x3,-0x4(%rbp)
jmp    1644 <get_token+0x4f4>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%edi
call   1070 <isalpha@plt>
cmp    $0x0,%eax
je     1563 <get_token+0x413>
jmp    1487 <get_token+0x337>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%ecx
xor    %eax,%eax
cmp    $0x0,%ecx
mov    %al,-0x30(%rbp)
je     14bc <get_token+0x36c>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0xa,%eax
setne  %al
mov    %al,-0x30(%rbp)
mov    -0x30(%rbp),%al
test   $0x1,%al
jne    14cc <get_token+0x37c>
jmp    154b <get_token+0x3fb>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
mov    (%rax,%rcx,1),%dl
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
mov    %dl,(%rax,%rcx,1)
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%edi
call   1040 <isalnum@plt>
cmp    $0x0,%eax
jne    1532 <get_token+0x3e2>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x5f,%eax
je     1532 <get_token+0x3e2>
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
movb   $0x0,(%rax,%rcx,1)
movl   $0x4,-0x4(%rbp)
jmp    1644 <get_token+0x4f4>
mov    -0x28(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x28(%rbp)
mov    -0x18(%rbp),%rax
mov    (%rax),%ecx
add    $0x1,%ecx
mov    %ecx,(%rax)
jmp    1487 <get_token+0x337>
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
movb   $0x0,(%rax,%rcx,1)
movl   $0x4,-0x4(%rbp)
jmp    1644 <get_token+0x4f4>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%edi
call   1030 <isdigit@plt>
cmp    $0x0,%eax
je     1644 <get_token+0x4f4>
jmp    1585 <get_token+0x435>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%ecx
xor    %eax,%eax
cmp    $0x0,%ecx
mov    %al,-0x31(%rbp)
je     15ba <get_token+0x46a>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0xa,%eax
setne  %al
mov    %al,-0x31(%rbp)
mov    -0x31(%rbp),%al
test   $0x1,%al
jne    15ca <get_token+0x47a>
jmp    1631 <get_token+0x4e1>
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
mov    (%rax,%rcx,1),%dl
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
mov    %dl,(%rax,%rcx,1)
mov    -0x10(%rbp),%rax
mov    -0x18(%rbp),%rcx
movslq (%rcx),%rcx
movsbl (%rax,%rcx,1),%edi
call   1030 <isdigit@plt>
cmp    $0x0,%eax
jne    1618 <get_token+0x4c8>
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
movb   $0x0,(%rax,%rcx,1)
movl   $0x5,-0x4(%rbp)
jmp    1644 <get_token+0x4f4>
mov    -0x28(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x28(%rbp)
mov    -0x18(%rbp),%rax
mov    (%rax),%ecx
add    $0x1,%ecx
mov    %ecx,(%rax)
jmp    1585 <get_token+0x435>
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
movb   $0x0,(%rax,%rcx,1)
movl   $0x5,-0x4(%rbp)
mov    -0x4(%rbp),%eax
add    $0x40,%rsp
pop    %rbp
ret

x86 assembly (clang, -O2):
<get_token>:
push   %rbp
push   %r15
push   %r14
push   %r13
push   %r12
push   %rbx
push   %rax
movb   $0x0,(%rdx)
mov    (%rsi),%r12d
movslq %r12d,%rbx
movsbl (%rdi,%rbx,1),%ebp
mov    $0x6,%eax
test   %ebp,%ebp
je     12ef <get_token+0x1af>
cmp    $0xa,%bpl
je     12ef <get_token+0x1af>
mov    %rdx,%r14
mov    %rsi,%r15
mov    %rdi,%r13
cmp    $0x1,%ecx
je     11a0 <get_token+0x60>
mov    %ebp,%edi
call   1050 <isspace@plt>
test   %eax,%eax
je     11f8 <get_token+0xb8>
xor    %eax,%eax
jmp    11e0 <get_token+0xa0>
nopl   0x0(%rax)
add    $0x1,%rbx
mov    %ebx,(%r15)
movslq %ebx,%rax
movzbl 0x0(%r13,%rax,1),%ebp
cmp    $0x20,%bpl
je     1190 <get_token+0x50>
cmp    $0x9,%bpl
je     1190 <get_token+0x50>
movsbl %bpl,%edi
mov    %ebx,%r12d
jmp    11fa <get_token+0xba>
cs nopw 0x0(%rax,%rax,1)
nop
movslq %r12d,%rcx
lea    0x1(%rcx),%edx
mov    %edx,(%r15)
movzbl 0x0(%r13,%rcx,1),%ecx
mov    %cl,(%r14,%rax,1)
add    $0x1,%rax
movslq (%r15),%r12
movzbl 0x0(%r13,%r12,1),%ebp
cmp    $0x20,%bpl
je     11c0 <get_token+0x80>
cmp    $0x9,%bpl
je     11c0 <get_token+0x80>
mov    %eax,%ecx
mov    $0x1,%eax
jmp    12ea <get_token+0x1aa>
mov    %ebp,%edi
mov    %edi,0x4(%rsp)
call   1040 <ispunct@plt>
test   %eax,%eax
je     122b <get_token+0xeb>
cmp    $0x22,%bpl
je     122b <get_token+0xeb>
add    $0x1,%r12d
mov    %r12d,(%r15)
mov    0x0(%r13,%rbx,1),%al
mov    %al,(%r14)
mov    $0x2,%eax
mov    $0x1,%ecx
jmp    12ea <get_token+0x1aa>
cmp    $0x22,%bpl
jne    128a <get_token+0x14a>
add    $0x1,%r12d
mov    %r12d,(%r15)
xor    %eax,%eax
jmp    1244 <get_token+0x104>
nopl   0x0(%rax)
add    $0x1,%rax
movslq %r12d,%rcx
movzbl 0x0(%r13,%rcx,1),%edx
test   %dl,%dl
je     12e3 <get_token+0x1a3>
cmp    $0xa,%dl
je     12e3 <get_token+0x1a3>
lea    0x1(%rcx),%edx
mov    %edx,(%r15)
movzbl 0x0(%r13,%rcx,1),%ecx
mov    %cl,(%r14,%rax,1)
mov    (%r15),%r12d
cmp    $0x22,%cl
jne    1240 <get_token+0x100>
movslq %r12d,%rcx
cmpb   $0x22,0x0(%r13,%rcx,1)
jne    12e3 <get_token+0x1a3>
add    $0x1,%r12d
mov    %r12d,(%r15)
jmp    1240 <get_token+0x100>
mov    0x4(%rsp),%ebx
mov    %ebx,%edi
call   1060 <isalpha@plt>
test   %eax,%eax
je     12fe <get_token+0x1be>
xor    %ebp,%ebp
jmp    12ab <get_token+0x16b>
nopl   (%rax)
add    $0x1,%rbp
add    $0x1,%r12d
mov    %r12d,(%r15)
movslq %r12d,%rax
movzbl 0x0(%r13,%rax,1),%eax
test   %al,%al
je     12da <get_token+0x19a>
cmp    $0xa,%al
je     12da <get_token+0x19a>
mov    %al,(%r14,%rbp,1)
movslq (%r15),%r12
movzbl 0x0(%r13,%r12,1),%ebx
movsbl %bl,%edi
call   1030 <isalnum@plt>
test   %eax,%eax
jne    12a0 <get_token+0x160>
cmp    $0x5f,%bl
je     12a0 <get_token+0x160>
mov    %ebp,%ecx
mov    $0x4,%eax
jmp    12ea <get_token+0x1aa>
mov    %eax,%ecx
mov    $0x3,%eax
movb   $0x0,(%r14,%rcx,1)
add    $0x8,%rsp
pop    %rbx
pop    %r12
pop    %r13
pop    %r14
pop    %r15
pop    %rbp
ret
add    $0xffffffd0,%ebx
cmp    $0x9,%ebx
ja     12ef <get_token+0x1af>
xor    %eax,%eax
movslq %r12d,%rcx
movzbl 0x0(%r13,%rcx,1),%ecx
test   %cl,%cl
je     133c <get_token+0x1fc>
cmp    $0xa,%cl
je     133c <get_token+0x1fc>
mov    %cl,(%r14,%rax,1)
movslq (%r15),%r12
movsbl 0x0(%r13,%r12,1),%ecx
add    $0xffffffd0,%ecx
cmp    $0xa,%ecx
jae    133c <get_token+0x1fc>
add    $0x1,%rax
add    $0x1,%r12d
mov    %r12d,(%r15)
jmp    1308 <get_token+0x1c8>
mov    %eax,%ecx
mov    $0x5,%eax
jmp    12ea <get_token+0x1aa>

LLVM IR (-O0):
define i32 @get_token(i8* %0, i32* %1, i8* %2, i32 %3) {
%5 = alloca i32
%6 = alloca i8*
%7 = alloca i32*
%8 = alloca i8*
%9 = alloca i32
%10 = alloca i32
%11 = alloca i32
store i8* %0, i8** %6
store i32* %1, i32** %7
store i8* %2, i8** %8
store i32 %3, i32* %9
%12 = load i8*, i8** %8
%13 = getelementptr inbounds i8, i8* %12, i64 0
store i8 0, i8* %13
store i32 0, i32* %10
%14 = load i8*, i8** %6
%15 = load i32*, i32** %7
%16 = load i32, i32* %15
%17 = sext i32 %16 to i64
%18 = getelementptr inbounds i8, i8* %14, i64 %17
%19 = load i8, i8* %18
%20 = sext i8 %19 to i32
%21 = icmp eq i32 %20, 0
br i1 %21, label %31, label %22
22: ; preds = %4
%23 = load i8*, i8** %6
%24 = load i32*, i32** %7
%25 = load i32, i32* %24
%26 = sext i32 %25 to i64
%27 = getelementptr inbounds i8, i8* %23, i64 %26
%28 = load i8, i8* %27
%29 = sext i8 %28 to i32
%30 = icmp eq i32 %29, 10
br i1 %30, label %31, label %32
31: ; preds = %22, %4
store i32 6, i32* %5
br label %373
32: ; preds = %22
%33 = load i32, i32* %9
%34 = icmp eq i32 %33, 1
br i1 %34, label %35, label %61
35: ; preds = %32
br label %36
36: ; preds = %56, %35
%37 = load i8*, i8** %6
%38 = load i32*, i32** %7
%39 = load i32, i32* %38
%40 = sext i32 %39 to i64
%41 = getelementptr inbounds i8, i8* %37, i64 %40
%42 = load i8, i8* %41
%43 = sext i8 %42 to i32
%44 = icmp eq i32 %43, 32
br i1 %44, label %54, label %45
45: ; preds = %36
%46 = load i8*, i8** %6
%47 = load i32*, i32** %7
%48 = load i32, i32* %47
%49 = sext i32 %48 to i64
%50 = getelementptr inbounds i8, i8* %46, i64 %49
%51 = load i8, i8* %50
%52 = sext i8 %51 to i32
%53 = icmp eq i32 %52, 9
br label %54
54: ; preds = %45, %36
%55 = phi i1 [ true, %36 ], [ %53, %45 ]
br i1 %55, label %56, label %60
56: ; preds = %54
%57 = load i32*, i32** %7
%58 = load i32, i32* %57
%59 = add nsw i32 %58, 1
store i32 %59, i32* %57
br label %36
60: ; preds = %54
br label %111
61: ; preds = %32
%62 = load i8*, i8** %6
%63 = load i32*, i32** %7
%64 = load i32, i32* %63
%65 = sext i32 %64 to i64
%66 = getelementptr inbounds i8, i8* %62, i64 %65
%67 = load i8, i8* %66
%68 = sext i8 %67 to i32
%69 = call i32 @isspace(i32 %68)
%70 = icmp ne i32 %69, 0
br i1 %70, label %71, label %110
71: ; preds = %61
br label %72
72: ; preds = %92, %71
%73 = load i8*, i8** %6
%74 = load i32*, i32** %7
%75 = load i32, i32* %74
%76 = sext i32 %75 to i64
%77 = getelementptr inbounds i8, i8* %73, i64 %76
%78 = load i8, i8* %77
%79 = sext i8 %78 to i32
%80 = icmp eq i32 %79, 32
br i1 %80, label %90, label %81
81: ; preds = %72
%82 = load i8*, i8** %6
%83 = load i32*, i32** %7
%84 = load i32, i32* %83
%85 = sext i32 %84 to i64
%86 = getelementptr inbounds i8, i8* %82, i64 %85
%87 = load i8, i8* %86
%88 = sext i8 %87 to i32
%89 = icmp eq i32 %88, 9
br label %90
90: ; preds = %81, %72
%91 = phi i1 [ true, %72 ], [ %89, %81 ]
br i1 %91, label %92, label %105
92: ; preds = %90
%93 = load i8*, i8** %6
%94 = load i32*, i32** %7
%95 = load i32, i32* %94
%96 = add nsw i32 %95, 1
store i32 %96, i32* %94
%97 = sext i32 %95 to i64
%98 = getelementptr inbounds i8, i8* %93, i64 %97
%99 = load i8, i8* %98
%100 = load i8*, i8** %8
%101 = load i32, i32* %10
%102 = add nsw i32 %101, 1
store i32 %102, i32* %10
%103 = sext i32 %101 to i64
%104 = getelementptr inbounds i8, i8* %100, i64 %103
store i8 %99, i8* %104
br label %72
105: ; preds = %90
%106 = load i8*, i8** %8
%107 = load i32, i32* %10
%108 = sext i32 %107 to i64
%109 = getelementptr inbounds i8, i8* %106, i64 %108
store i8 0, i8* %109
store i32 1, i32* %5
br label %373
110: ; preds = %61
br label %111
111: ; preds = %110, %60
%112 = load i8*, i8** %6
%113 = load i32*, i32** %7
%114 = load i32, i32* %113
%115 = sext i32 %114 to i64
%116 = getelementptr inbounds i8, i8* %112, i64 %115
%117 = load i8, i8* %116
%118 = sext i8 %117 to i32
%119 = call i32 @ispunct(i32 %118)
%120 = icmp ne i32 %119, 0
br i1 %120, label %121, label %148
121: ; preds = %111
%122 = load i8*, i8** %6
%123 = load i32*, i32** %7
%124 = load i32, i32* %123
%125 = sext i32 %124 to i64
%126 = getelementptr inbounds i8, i8* %122, i64 %125
%127 = load i8, i8* %126
%128 = sext i8 %127 to i32
%129 = icmp ne i32 %128, 34
br i1 %129, label %130, label %147
130: ; preds = %121
%131 = load i8*, i8** %6
%132 = load i32*, i32** %7
%133 = load i32, i32* %132
%134 = add nsw i32 %133, 1
store i32 %134, i32* %132
%135 = sext i32 %133 to i64
%136 = getelementptr inbounds i8, i8* %131, i64 %135
%137 = load i8, i8* %136
%138 = load i8*, i8** %8
%139 = load i32, i32* %10
%140 = add nsw i32 %139, 1
store i32 %140, i32* %10
%141 = sext i32 %139 to i64
%142 = getelementptr inbounds i8, i8* %138, i64 %141
store i8 %137, i8* %142
%143 = load i8*, i8** %8
%144 = load i32, i32* %10
%145 = sext i32 %144 to i64
%146 = getelementptr inbounds i8, i8* %143, i64 %145
store i8 0, i8* %146
store i32 2, i32* %5
br label %373
147: ; preds = %121
br label %148
148: ; preds = %147, %111
%149 = load i8*, i8** %6
%150 = load i32*, i32** %7
%151 = load i32, i32* %150
%152 = sext i32 %151 to i64
%153 = getelementptr inbounds i8, i8* %149, i64 %152
%154 = load i8, i8* %153
%155 = sext i8 %154 to i32
%156 = icmp eq i32 %155, 34
br i1 %156, label %157, label %230
157: ; preds = %148
%158 = load i32*, i32** %7
%159 = load i32, i32* %158
%160 = add nsw i32 %159, 1
store i32 %160, i32* %158
br label %161
161: ; preds = %224, %157
%162 = load i8*, i8** %6
%163 = load i32*, i32** %7
%164 = load i32, i32* %163
%165 = sext i32 %164 to i64
%166 = getelementptr inbounds i8, i8* %162, i64 %165
%167 = load i8, i8* %166
%168 = sext i8 %167 to i32
%169 = icmp ne i32 %168, 0
br i1 %169, label %170, label %179
170: ; preds = %161
%171 = load i8*, i8** %6
%172 = load i32*, i32** %7
%173 = load i32, i32* %172
%174 = sext i32 %173 to i64
%175 = getelementptr inbounds i8, i8* %171, i64 %174
%176 = load i8, i8* %175
%177 = sext i8 %176 to i32
%178 = icmp ne i32 %177, 10
br label %179
179: ; preds = %170, %161
%180 = phi i1 [ false, %161 ], [ %178, %170 ]
br i1 %180, label %181, label %225
181: ; preds = %179
%182 = load i8*, i8** %6
%183 = load i32*, i32** %7
%184 = load i32, i32* %183
%185 = add nsw i32 %184, 1
store i32 %185, i32* %183
%186 = sext i32 %184 to i64
%187 = getelementptr inbounds i8, i8* %182, i64 %186
%188 = load i8, i8* %187
%189 = load i8*, i8** %8
%190 = load i32, i32* %10
%191 = sext i32 %190 to i64
%192 = getelementptr inbounds i8, i8* %189, i64 %191
store i8 %188, i8* %192
%193 = load i8*, i8** %8
%194 = load i32, i32* %10
%195 = sext i32 %194 to i64
%196 = getelementptr inbounds i8, i8* %193, i64 %195
%197 = load i8, i8* %196
%198 = sext i8 %197 to i32
%199 = icmp ne i32 %198, 34
br i1 %199, label %200, label %203
200: ; preds = %181
%201 = load i32, i32* %10
%202 = add nsw i32 %201, 1
store i32 %202, i32* %10
br label %224
203: ; preds = %181
%204 = load i8*, i8** %6
%205 = load i32*, i32** %7
%206 = load i32, i32* %205
%207 = sext i32 %206 to i64
%208 = getelementptr inbounds i8, i8* %204, i64 %207
%209 = load i8, i8* %208
%210 = sext i8 %209 to i32
%211 = icmp eq i32 %210, 34
br i1 %211, label %212, label %218
212: ; preds = %203
%213 = load i32, i32* %10
%214 = add nsw i32 %213, 1
store i32 %214, i32* %10
%215 = load i32*, i32** %7
%216 = load i32, i32* %215
%217 = add nsw i32 %216, 1
store i32 %217, i32* %215
br label %223
218: ; preds = %203
%219 = load i8*, i8** %8
%220 = load i32, i32* %10
%221 = sext i32 %220 to i64
%222 = getelementptr inbounds i8, i8* %219, i64 %221
store i8 0, i8* %222
store i32 3, i32* %5
br label %373
223: ; preds = %212
br label %224
224: ; preds = %223, %200
br label %161
225: ; preds = %179
%226 = load i8*, i8** %8
%227 = load i32, i32* %10
%228 = sext i32 %227 to i64
%229 = getelementptr inbounds i8, i8* %226, i64 %228
store i8 0, i8* %229
store i32 3, i32* %5
br label %373
230: ; preds = %148
%231 = load i8*, i8** %6
%232 = load i32*, i32** %7
%233 = load i32, i32* %232
%234 = sext i32 %233 to i64
%235 = getelementptr inbounds i8, i8* %231, i64 %234
%236 = load i8, i8* %235
%237 = sext i8 %236 to i32
%238 = call i32 @isalpha(i32 %237)
%239 = icmp ne i32 %238, 0
br i1 %239, label %240, label %306
240: ; preds = %230
br label %241
241: ; preds = %295, %240
%242 = load i8*, i8** %6
%243 = load i32*, i32** %7
%244 = load i32, i32* %243
%245 = sext i32 %244 to i64
%246 = getelementptr inbounds i8, i8* %242, i64 %245
%247 = load i8, i8* %246
%248 = sext i8 %247 to i32
%249 = icmp ne i32 %248, 0
br i1 %249, label %250, label %259
250: ; preds = %241
%251 = load i8*, i8** %6
%252 = load i32*, i32** %7
%253 = load i32, i32* %252
%254 = sext i32 %253 to i64
%255 = getelementptr inbounds i8, i8* %251, i64 %254
%256 = load i8, i8* %255
%257 = sext i8 %256 to i32
%258 = icmp ne i32 %257, 10
br label %259
259: ; preds = %250, %241
%260 = phi i1 [ false, %241 ], [ %258, %250 ]
br i1 %260, label %261, label %301
261: ; preds = %259
%262 = load i8*, i8** %6
%263 = load i32*, i32** %7
%264 = load i32, i32* %263
%265 = sext i32 %264 to i64
%266 = getelementptr inbounds i8, i8* %262, i64 %265
%267 = load i8, i8* %266
%268 = load i8*, i8** %8
%269 = load i32, i32* %10
%270 = sext i32 %269 to i64
%271 = getelementptr inbounds i8, i8* %268, i64 %270
store i8 %267, i8* %271
%272 = load i8*, i8** %6
%273 = load i32*, i32** %7
%274 = load i32, i32* %273
%275 = sext i32 %274 to i64
%276 = getelementptr inbounds i8, i8* %272, i64 %275
%277 = load i8, i8* %276
%278 = sext i8 %277 to i32
%279 = call i32 @isalnum(i32 %278)
%280 = icmp ne i32 %279, 0
br i1 %280, label %295, label %281
281: ; preds = %261
%282 = load i8*, i8** %6
%283 = load i32*, i32** %7
%284 = load i32, i32* %283
%285 = sext i32 %284 to i64
%286 = getelementptr inbounds i8, i8* %282, i64 %285
%287 = load i8, i8* %286
%288 = sext i8 %287 to i32
%289 = icmp eq i32 %288, 95
br i1 %289, label %295, label %290
290: ; preds = %281
%291 = load i8*, i8** %8
%292 = load i32, i32* %10
%293 = sext i32 %292 to i64
%294 = getelementptr inbounds i8, i8* %291, i64 %293
store i8 0, i8* %294
store i32 4, i32* %5
br label %373
295: ; preds = %281, %261
%296 = load i32, i32* %10
%297 = add nsw i32 %296, 1
store i32 %297, i32* %10
%298 = load i32*, i32** %7
%299 = load i32, i32* %298
%300 = add nsw i32 %299, 1
store i32 %300, i32* %298
br label %241
301: ; preds = %259
%302 = load i8*, i8** %8
%303 = load i32, i32* %10
%304 = sext i32 %303 to i64
%305 = getelementptr inbounds i8, i8* %302, i64 %304
store i8 0, i8* %305
store i32 4, i32* %5
br label %373
306: ; preds = %230
%307 = load i8*, i8** %6
%308 = load i32*, i32** %7
%309 = load i32, i32* %308
%310 = sext i32 %309 to i64
%311 = getelementptr inbounds i8, i8* %307, i64 %310
%312 = load i8, i8* %311
%313 = sext i8 %312 to i32
%314 = call i32 @isdigit(i32 %313)
%315 = icmp ne i32 %314, 0
br i1 %315, label %316, label %373
316: ; preds = %306
br label %317
317: ; preds = %362, %316
%318 = load i8*, i8** %6
%319 = load i32*, i32** %7
%320 = load i32, i32* %319
%321 = sext i32 %320 to i64
%322 = getelementptr inbounds i8, i8* %318, i64 %321
%323 = load i8, i8* %322
%324 = sext i8 %323 to i32
%325 = icmp ne i32 %324, 0
br i1 %325, label %326, label %335
326: ; preds = %317
%327 = load i8*, i8** %6
%328 = load i32*, i32** %7
%329 = load i32, i32* %328
%330 = sext i32 %329 to i64
%331 = getelementptr inbounds i8, i8* %327, i64 %330
%332 = load i8, i8* %331
%333 = sext i8 %332 to i32
%334 = icmp ne i32 %333, 10
br label %335
335: ; preds = %326, %317
%336 = phi i1 [ false, %317 ], [ %334, %326 ]
br i1 %336, label %337, label %368
337: ; preds = %335
%338 = load i8*, i8** %6
%339 = load i32*, i32** %7
%340 = load i32, i32* %339
%341 = sext i32 %340 to i64
%342 = getelementptr inbounds i8, i8* %338, i64 %341
%343 = load i8, i8* %342
%344 = load i8*, i8** %8
%345 = load i32, i32* %10
%346 = sext i32 %345 to i64
%347 = getelementptr inbounds i8, i8* %344, i64 %346
store i8 %343, i8* %347
%348 = load i8*, i8** %6
%349 = load i32*, i32** %7
%350 = load i32, i32* %349
%351 = sext i32 %350 to i64
%352 = getelementptr inbounds i8, i8* %348, i64 %351
%353 = load i8, i8* %352
%354 = sext i8 %353 to i32
%355 = call i32 @isdigit(i32 %354)
%356 = icmp ne i32 %355, 0
br i1 %356, label %362, label %357
357: ; preds = %337
%358 = load i8*, i8** %8
%359 = load i32, i32* %10
%360 = sext i32 %359 to i64
%361 = getelementptr inbounds i8, i8* %358, i64 %360
store i8 0, i8* %361
store i32 5, i32* %5
br label %373
362: ; preds = %337
%363 = load i32, i32* %10
%364 = add nsw i32 %363, 1
store i32 %364, i32* %10
%365 = load i32*, i32** %7
%366 = load i32, i32* %365
%367 = add nsw i32 %366, 1
store i32 %367, i32* %365
br label %317
368: ; preds = %335
%369 = load i8*, i8** %8
%370 = load i32, i32* %10
%371 = sext i32 %370 to i64
%372 = getelementptr inbounds i8, i8* %369, i64 %371
store i8 0, i8* %372
store i32 5, i32* %5
br label %373
373: ; preds = %31, %105, %130, %218, %225, %290, %301, %357, %368, %306
%374 = load i32, i32* %5
ret i32 %374
}

LLVM IR (-O2):
define i32 @get_token(i8* nocapture %0, i32* %1, i8* nocapture writeonly %2, i32 %3) {
store i8 0, i8* %2
%5 = load i32, i32* %1
%6 = sext i32 %5 to i64
%7 = getelementptr inbounds i8, i8* %0, i64 %6
%8 = load i8, i8* %7
%9 = sext i8 %8 to i32
switch i8 %8, label %10 [
i8 0, label %141
i8 10, label %141
]
10: ; preds = %4
%11 = icmp eq i32 %3, 1
br i1 %11, label %12, label %20
12: ; preds = %10, %15
%13 = phi i8 [ %19, %15 ], [ %8, %10 ]
%14 = phi i32 [ %16, %15 ], [ %5, %10 ]
switch i8 %13, label %40 [
i8 32, label %15
i8 9, label %15
]
15: ; preds = %12, %12
%16 = add nsw i32 %14, 1
store i32 %16, i32* %1
%17 = sext i32 %16 to i64
%18 = getelementptr inbounds i8, i8* %0, i64 %17
%19 = load i8, i8* %18
br label %12
20: ; preds = %10
%21 = tail call i32 @isspace(i32 %9)
%22 = icmp eq i32 %21, 0
br i1 %22, label %43, label %23
23: ; preds = %20, %27
%24 = phi i8 [ %37, %27 ], [ %8, %20 ]
%25 = phi i32 [ %34, %27 ], [ %5, %20 ]
%26 = phi i64 [ %32, %27 ], [ 0, %20 ]
switch i8 %24, label %38 [
i8 32, label %27
i8 9, label %27
]
27: ; preds = %23, %23
%28 = sext i32 %25 to i64
%29 = getelementptr inbounds i8, i8* %0, i64 %28
%30 = add nsw i32 %25, 1
store i32 %30, i32* %1
%31 = load i8, i8* %29
%32 = add nuw i64 %26, 1
%33 = getelementptr inbounds i8, i8* %2, i64 %26
store i8 %31, i8* %33
%34 = load i32, i32* %1
%35 = sext i32 %34 to i64
%36 = getelementptr inbounds i8, i8* %0, i64 %35
%37 = load i8, i8* %36
br label %23
38: ; preds = %23
%39 = and i64 %26, 4294967295
br label %137
40: ; preds = %12
%41 = sext i32 %14 to i64
%42 = sext i8 %13 to i32
br label %43
43: ; preds = %40, %20
%44 = phi i32 [ %42, %40 ], [ %9, %20 ]
%45 = phi i8 [ %13, %40 ], [ %8, %20 ]
%46 = phi i64 [ %41, %40 ], [ %6, %20 ]
%47 = phi i32 [ %14, %40 ], [ %5, %20 ]
%48 = tail call i32 @ispunct(i32 %44)
%49 = icmp eq i32 %48, 0
%50 = icmp eq i8 %45, 34
%51 = select i1 %49, i1 true, i1 %50
br i1 %51, label %56, label %52
52: ; preds = %43
%53 = getelementptr inbounds i8, i8* %0, i64 %46
%54 = add nsw i32 %47, 1
store i32 %54, i32* %1
%55 = load i8, i8* %53
store i8 %55, i8* %2
br label %137
56: ; preds = %43
br i1 %50, label %57, label %85
57: ; preds = %56
%58 = add nsw i32 %47, 1
store i32 %58, i32* %1
br label %59
59: ; preds = %80, %57
%60 = phi i32 [ %81, %80 ], [ %58, %57 ]
%61 = phi i64 [ %82, %80 ], [ 0, %57 ]
%62 = sext i32 %60 to i64
%63 = getelementptr inbounds i8, i8* %0, i64 %62
%64 = load i8, i8* %63
switch i8 %64, label %65 [
i8 0, label %83
i8 10, label %83
]
65: ; preds = %59
%66 = add nsw i32 %60, 1
store i32 %66, i32* %1
%67 = load i8, i8* %63
%68 = getelementptr inbounds i8, i8* %2, i64 %61
store i8 %67, i8* %68
%69 = icmp eq i8 %67, 34
%70 = load i32, i32* %1
br i1 %69, label %71, label %80
71: ; preds = %65
%72 = sext i32 %70 to i64
%73 = getelementptr inbounds i8, i8* %0, i64 %72
%74 = load i8, i8* %73
%75 = icmp eq i8 %74, 34
br i1 %75, label %76, label %78
76: ; preds = %71
%77 = add nsw i32 %70, 1
store i32 %77, i32* %1
br label %80
78: ; preds = %71
%79 = and i64 %61, 4294967295
br label %137
80: ; preds = %65, %76
%81 = phi i32 [ %77, %76 ], [ %70, %65 ]
%82 = add nuw i64 %61, 1
br label %59
83: ; preds = %59, %59
%84 = and i64 %61, 4294967295
br label %137
85: ; preds = %56
%86 = tail call i32 @isalpha(i32 %44)
%87 = icmp eq i32 %86, 0
br i1 %87, label %112, label %88
88: ; preds = %85, %107
%89 = phi i32 [ %109, %107 ], [ %47, %85 ]
%90 = phi i64 [ %108, %107 ], [ 0, %85 ]
%91 = sext i32 %89 to i64
%92 = getelementptr inbounds i8, i8* %0, i64 %91
%93 = load i8, i8* %92
switch i8 %93, label %94 [
i8 0, label %110
i8 10, label %110
]
94: ; preds = %88
%95 = getelementptr inbounds i8, i8* %2, i64 %90
store i8 %93, i8* %95
%96 = load i32, i32* %1
%97 = sext i32 %96 to i64
%98 = getelementptr inbounds i8, i8* %0, i64 %97
%99 = load i8, i8* %98
%100 = sext i8 %99 to i32
%101 = tail call i32 @isalnum(i32 %100)
%102 = icmp ne i32 %101, 0
%103 = icmp eq i8 %99, 95
%104 = select i1 %102, i1 true, i1 %103
br i1 %104, label %107, label %105
105: ; preds = %94
%106 = and i64 %90, 4294967295
br label %137
107: ; preds = %94
%108 = add nuw i64 %90, 1
%109 = add nsw i32 %96, 1
store i32 %109, i32* %1
br label %88
110: ; preds = %88, %88
%111 = and i64 %90, 4294967295
br label %137
112: ; preds = %85
%113 = add nsw i32 %44, -48
%114 = icmp ult i32 %113, 10
br i1 %114, label %115, label %141
115: ; preds = %112, %132
%116 = phi i32 [ %134, %132 ], [ %47, %112 ]
%117 = phi i64 [ %133, %132 ], [ 0, %112 ]
%118 = sext i32 %116 to i64
%119 = getelementptr inbounds i8, i8* %0, i64 %118
%120 = load i8, i8* %119
switch i8 %120, label %121 [
i8 0, label %135
i8 10, label %135
]
121: ; preds = %115
%122 = getelementptr inbounds i8, i8* %2, i64 %117
store i8 %120, i8* %122
%123 = load i32, i32* %1
%124 = sext i32 %123 to i64
%125 = getelementptr inbounds i8, i8* %0, i64 %124
%126 = load i8, i8* %125
%127 = sext i8 %126 to i32
%128 = add nsw i32 %127, -48
%129 = icmp ult i32 %128, 10
br i1 %129, label %132, label %130
130: ; preds = %121
%131 = and i64 %117, 4294967295
br label %137
132: ; preds = %121
%133 = add nuw i64 %117, 1
%134 = add nsw i32 %123, 1
store i32 %134, i32* %1
br label %115
135: ; preds = %115, %115
%136 = and i64 %117, 4294967295
br label %137
137: ; preds = %38, %52, %78, %83, %105, %110, %130, %135
%138 = phi i64 [ %136, %135 ], [ %131, %130 ], [ %111, %110 ], [ %106, %105 ], [ %84, %83 ], [ %79, %78 ], [ 1, %52 ], [ %39, %38 ]
%139 = phi i32 [ 5, %135 ], [ 5, %130 ], [ 4, %110 ], [ 4, %105 ], [ 3, %83 ], [ 3, %78 ], [ 2, %52 ], [ 1, %38 ]
%140 = getelementptr inbounds i8, i8* %2, i64 %138
store i8 0, i8* %140
br label %141
141: ; preds = %137, %112, %4, %4
%142 = phi i32 [ 6, %4 ], [ 6, %4 ], [ undef, %112 ], [ %139, %137 ]
ret i32 %142
}