int next_token(char **in, char *tok, int maxlen) {
  int len;
  for (len = 0; len < 256 - 1; (*in)++) {
    if (**in == 0 || **in == '\r' || **in == '\n') {
      if (len == 0)
        return -1;
      goto done;
    }
    if (**in == ' ' || **in == '\t') {
      if (len != 0)
        goto done;
      continue;
    }
    *(tok++) = **in;
    len++;
  }
done:
  *tok = 0;
  return 0;
}


x86 assembly (clang, -O0):
<next_token>:
push   %rbp
mov    %rsp,%rbp
mov    %rdi,-0x10(%rbp)
mov    %rsi,-0x18(%rbp)
mov    %edx,-0x1c(%rbp)
movl   $0x0,-0x20(%rbp)
cmpl   $0xff,-0x20(%rbp)
jge    11e7 <next_token+0xe7>
mov    -0x10(%rbp),%rax
mov    (%rax),%rax
movsbl (%rax),%eax
cmp    $0x0,%eax
je     115c <next_token+0x5c>
mov    -0x10(%rbp),%rax
mov    (%rax),%rax
movsbl (%rax),%eax
cmp    $0xd,%eax
je     115c <next_token+0x5c>
mov    -0x10(%rbp),%rax
mov    (%rax),%rax
movsbl (%rax),%eax
cmp    $0xa,%eax
jne    1177 <next_token+0x77>
cmpl   $0x0,-0x20(%rbp)
jne    1172 <next_token+0x72>
movl   $0xffffffff,-0x4(%rbp)
jmp    11fa <next_token+0xfa>
jmp    11ec <next_token+0xec>
mov    -0x10(%rbp),%rax
mov    (%rax),%rax
movsbl (%rax),%eax
cmp    $0x20,%eax
je     119d <next_token+0x9d>
mov    -0x10(%rbp),%rax
mov    (%rax),%rax
movsbl (%rax),%eax
cmp    $0x9,%eax
jne    11b1 <next_token+0xb1>
cmpl   $0x0,-0x20(%rbp)
je     11ac <next_token+0xac>
jmp    11ec <next_token+0xec>
jmp    11d4 <next_token+0xd4>
mov    -0x10(%rbp),%rax
mov    (%rax),%rax
mov    (%rax),%cl
mov    -0x18(%rbp),%rax
mov    %rax,%rdx
add    $0x1,%rdx
mov    %rdx,-0x18(%rbp)
mov    %cl,(%rax)
mov    -0x20(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x20(%rbp)
mov    -0x10(%rbp),%rax
mov    (%rax),%rcx
add    $0x1,%rcx
mov    %rcx,(%rax)
jmp    1116 <next_token+0x16>
jmp    11ec <next_token+0xec>
mov    -0x18(%rbp),%rax
movb   $0x0,(%rax)
movl   $0x0,-0x4(%rbp)
mov    -0x4(%rbp),%eax
pop    %rbp
ret

x86 assembly (clang, -O2):
<next_token>:
mov    (%rdi),%rdx
xor    %ecx,%ecx
movabs $0x100000200,%r9
mov    $0x2401,%r8d
jmp    1138 <next_token+0x38>
bt     %rax,%r8
jb     1152 <next_token+0x52>
mov    %al,(%rsi)
add    $0x1,%rsi
add    $0x1,%ecx
mov    (%rdi),%rdx
add    $0x1,%rdx
mov    %rdx,(%rdi)
cmp    $0xff,%ecx
jge    1156 <next_token+0x56>
movzbl (%rdx),%eax
cmp    $0x20,%rax
ja     111d <next_token+0x1d>
bt     %rax,%r9
jae    1117 <next_token+0x17>
test   %ecx,%ecx
mov    $0x0,%ecx
je     1129 <next_token+0x29>
jmp    1156 <next_token+0x56>
test   %ecx,%ecx
je     115c <next_token+0x5c>
movb   $0x0,(%rsi)
xor    %eax,%eax
ret
mov    $0xffffffff,%eax
ret

LLVM IR (-O0):
define i32 @next_token(i8** %0, i8* %1, i32 %2) {
%4 = alloca i32
%5 = alloca i8**
%6 = alloca i8*
%7 = alloca i32
%8 = alloca i32
store i8** %0, i8*** %5
store i8* %1, i8** %6
store i32 %2, i32* %7
store i32 0, i32* %8
br label %9
9: ; preds = %60, %3
%10 = load i32, i32* %8
%11 = icmp slt i32 %10, 255
br i1 %11, label %12, label %64
12: ; preds = %9
%13 = load i8**, i8*** %5
%14 = load i8*, i8** %13
%15 = load i8, i8* %14
%16 = sext i8 %15 to i32
%17 = icmp eq i32 %16, 0
br i1 %17, label %30, label %18
18: ; preds = %12
%19 = load i8**, i8*** %5
%20 = load i8*, i8** %19
%21 = load i8, i8* %20
%22 = sext i8 %21 to i32
%23 = icmp eq i32 %22, 13
br i1 %23, label %30, label %24
24: ; preds = %18
%25 = load i8**, i8*** %5
%26 = load i8*, i8** %25
%27 = load i8, i8* %26
%28 = sext i8 %27 to i32
%29 = icmp eq i32 %28, 10
br i1 %29, label %30, label %35
30: ; preds = %24, %18, %12
%31 = load i32, i32* %8
%32 = icmp eq i32 %31, 0
br i1 %32, label %33, label %34
33: ; preds = %30
store i32 -1, i32* %4
br label %67
34: ; preds = %30
br label %65
35: ; preds = %24
%36 = load i8**, i8*** %5
%37 = load i8*, i8** %36
%38 = load i8, i8* %37
%39 = sext i8 %38 to i32
%40 = icmp eq i32 %39, 32
br i1 %40, label %47, label %41
41: ; preds = %35
%42 = load i8**, i8*** %5
%43 = load i8*, i8** %42
%44 = load i8, i8* %43
%45 = sext i8 %44 to i32
%46 = icmp eq i32 %45, 9
br i1 %46, label %47, label %52
47: ; preds = %41, %35
%48 = load i32, i32* %8
%49 = icmp ne i32 %48, 0
br i1 %49, label %50, label %51
50: ; preds = %47
br label %65
51: ; preds = %47
br label %60
52: ; preds = %41
%53 = load i8**, i8*** %5
%54 = load i8*, i8** %53
%55 = load i8, i8* %54
%56 = load i8*, i8** %6
%57 = getelementptr inbounds i8, i8* %56, i32 1
store i8* %57, i8** %6
store i8 %55, i8* %56
%58 = load i32, i32* %8
%59 = add nsw i32 %58, 1
store i32 %59, i32* %8
br label %60
60: ; preds = %52, %51
%61 = load i8**, i8*** %5
%62 = load i8*, i8** %61
%63 = getelementptr inbounds i8, i8* %62, i32 1
store i8* %63, i8** %61
br label %9
64: ; preds = %9
br label %65
65: ; preds = %64, %50, %34
%66 = load i8*, i8** %6
store i8 0, i8* %66
store i32 0, i32* %4
br label %67
67: ; preds = %65, %33
%68 = load i32, i32* %4
ret i32 %68
}

LLVM IR (-O2):
define i32 @next_token(i8** nocapture %0, i8* nocapture writeonly %1, i32 %2) {
%4 = load i8*, i8** %0
br label %5
5: ; preds = %3, %18
%6 = phi i8* [ %4, %3 ], [ %22, %18 ]
%7 = phi i32 [ 0, %3 ], [ %21, %18 ]
%8 = phi i8* [ %1, %3 ], [ %20, %18 ]
%9 = load i8, i8* %6
switch i8 %9, label %14 [
i8 0, label %10
i8 13, label %10
i8 10, label %10
i8 32, label %12
i8 9, label %12
]
10: ; preds = %5, %5, %5
%11 = icmp eq i32 %7, 0
br i1 %11, label %26, label %24
12: ; preds = %5, %5
%13 = icmp eq i32 %7, 0
br i1 %13, label %18, label %24
14: ; preds = %5
%15 = getelementptr inbounds i8, i8* %8, i64 1
store i8 %9, i8* %8
%16 = add nsw i32 %7, 1
%17 = load i8*, i8** %0
br label %18
18: ; preds = %12, %14
%19 = phi i8* [ %6, %12 ], [ %17, %14 ]
%20 = phi i8* [ %8, %12 ], [ %15, %14 ]
%21 = phi i32 [ 0, %12 ], [ %16, %14 ]
%22 = getelementptr inbounds i8, i8* %19, i64 1
store i8* %22, i8** %0
%23 = icmp slt i32 %21, 255
br i1 %23, label %5, label %24
24: ; preds = %18, %12, %10
%25 = phi i8* [ %8, %10 ], [ %8, %12 ], [ %20, %18 ]
store i8 0, i8* %25
br label %26
26: ; preds = %10, %24
%27 = phi i32 [ 0, %24 ], [ -1, %10 ]
ret i32 %27
}