int tokenizer(char *str, const char delim, char *token) {
  static char *last;
  int found = 0, length = 0;
  char *check;
  int i;
  if (str)
    last = str;
  else if (!last || *last == 0)
    return 0;
  check = last;
  while (check && !found && last[length]) {
    if (*check == delim)
      found = 1;
    else {
      check++;
      length++;
    }
  }
  if (!found)
    return 0;
  for (i = 0; i < length; i++) {
    token[i] = *last++;
  }
  token[length] = 0;
  last++;
  return 1;
}


x86 assembly (clang, -O0):
<tokenizer>:
push   %rbp
mov    %rsp,%rbp
mov    %sil,%al
mov    %rdi,-0x10(%rbp)
mov    %al,-0x11(%rbp)
mov    %rdx,-0x20(%rbp)
movl   $0x0,-0x24(%rbp)
movl   $0x0,-0x28(%rbp)
cmpq   $0x0,-0x10(%rbp)
je     113b <tokenizer+0x3b>
mov    -0x10(%rbp),%rax
mov    %rax,0x2ef2(%rip)
jmp    116d <tokenizer+0x6d>
cmpq   $0x0,0x2ee5(%rip)
je     115c <tokenizer+0x5c>
mov    0x2ed8(%rip),%rax
movsbl (%rax),%eax
cmp    $0x0,%eax
jne    1168 <tokenizer+0x68>
movl   $0x0,-0x4(%rbp)
jmp    1276 <tokenizer+0x176>
jmp    116d <tokenizer+0x6d>
mov    0x2eb4(%rip),%rax
mov    %rax,-0x30(%rbp)
xor    %eax,%eax
cmpq   $0x0,-0x30(%rbp)
mov    %al,-0x35(%rbp)
je     11af <tokenizer+0xaf>
xor    %eax,%eax
cmpl   $0x0,-0x24(%rbp)
mov    %al,-0x35(%rbp)
jne    11af <tokenizer+0xaf>
mov    0x2e8a(%rip),%rax
movslq -0x28(%rbp),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x0,%eax
setne  %al
mov    %al,-0x35(%rbp)
mov    -0x35(%rbp),%al
test   $0x1,%al
jne    11bf <tokenizer+0xbf>
jmp    11f8 <tokenizer+0xf8>
mov    -0x30(%rbp),%rax
movsbl (%rax),%eax
movsbl -0x11(%rbp),%ecx
cmp    %ecx,%eax
jne    11de <tokenizer+0xde>
movl   $0x1,-0x24(%rbp)
jmp    11f3 <tokenizer+0xf3>
mov    -0x30(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x30(%rbp)
mov    -0x28(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x28(%rbp)
jmp    1178 <tokenizer+0x78>
cmpl   $0x0,-0x24(%rbp)
jne    120e <tokenizer+0x10e>
movl   $0x0,-0x4(%rbp)
jmp    1276 <tokenizer+0x176>
movl   $0x0,-0x34(%rbp)
mov    -0x34(%rbp),%eax
cmp    -0x28(%rbp),%eax
jge    1251 <tokenizer+0x151>
mov    0x2e00(%rip),%rax
mov    %rax,%rcx
add    $0x1,%rcx
mov    %rcx,0x2df2(%rip)
mov    (%rax),%dl
mov    -0x20(%rbp),%rax
movslq -0x34(%rbp),%rcx
mov    %dl,(%rax,%rcx,1)
mov    -0x34(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x34(%rbp)
jmp    1215 <tokenizer+0x115>
mov    -0x20(%rbp),%rax
movslq -0x28(%rbp),%rcx
movb   $0x0,(%rax,%rcx,1)
mov    0x2dc4(%rip),%rax
add    $0x1,%rax
mov    %rax,0x2db9(%rip)
movl   $0x1,-0x4(%rbp)
mov    -0x4(%rbp),%eax
pop    %rbp
ret

x86 assembly (clang, -O2):
<tokenizer>:
test   %rdi,%rdi
je     11f0 <tokenizer+0xf0>
mov    %rdi,0x2f18(%rip)
xor    %eax,%eax
mov    %rdi,%r10
xor    %r9d,%r9d
nopl   0x0(%rax,%rax,1)
mov    %r9d,%ecx
cmpb   $0x0,(%rdi,%rcx,1)
je     1207 <tokenizer+0x107>
movzbl (%r10),%r8d
xor    %ecx,%ecx
cmp    %sil,%r8b
setne  %cl
add    %ecx,%r9d
cmp    %sil,%r8b
je     1146 <tokenizer+0x46>
add    %rcx,%r10
jne    1120 <tokenizer+0x20>
cmp    %sil,%r8b
jne    1207 <tokenizer+0x107>
test   %r9d,%r9d
je     1208 <tokenizer+0x108>
mov    %r9d,%r8d
cmp    $0x20,%r9d
jb     117b <tokenizer+0x7b>
lea    (%rdi,%r8,1),%rax
cmp    %rdx,%rax
jbe    1221 <tokenizer+0x121>
lea    (%rdx,%r8,1),%rax
cmp    %rax,%rdi
jae    1221 <tokenizer+0x121>
xor    %ecx,%ecx
mov    %rcx,%r9
not    %r9
add    %r8,%r9
mov    %r8,%rsi
and    $0x3,%rsi
je     11a4 <tokenizer+0xa4>
nop
movzbl (%rdi),%eax
add    $0x1,%rdi
mov    %al,(%rdx,%rcx,1)
add    $0x1,%rcx
add    $0xffffffffffffffff,%rsi
jne    1190 <tokenizer+0x90>
cmp    $0x3,%r9
jb     120b <tokenizer+0x10b>
mov    %r8,%r9
sub    %rcx,%r9
lea    (%rcx,%rdx,1),%rsi
add    $0x3,%rsi
xor    %ecx,%ecx
nopw   0x0(%rax,%rax,1)
movzbl (%rdi,%rcx,1),%eax
mov    %al,-0x3(%rsi,%rcx,1)
movzbl 0x1(%rdi,%rcx,1),%eax
mov    %al,-0x2(%rsi,%rcx,1)
movzbl 0x2(%rdi,%rcx,1),%eax
mov    %al,-0x1(%rsi,%rcx,1)
movzbl 0x3(%rdi,%rcx,1),%eax
mov    %al,(%rsi,%rcx,1)
add    $0x4,%rcx
cmp    %rcx,%r9
jne    11c0 <tokenizer+0xc0>
add    %rcx,%rdi
jmp    120b <tokenizer+0x10b>
mov    0x2e31(%rip),%rdi
xor    %eax,%eax
test   %rdi,%rdi
je     1207 <tokenizer+0x107>
cmpb   $0x0,(%rdi)
jne    1110 <tokenizer+0x10>
ret
xor    %r8d,%r8d
movb   $0x0,(%rdx,%r8,1)
add    $0x1,%rdi
mov    %rdi,0x2e0d(%rip)
mov    $0x1,%eax
ret
mov    %r8d,%ecx
and    $0x7fffffe0,%ecx
lea    -0x20(%rcx),%rax
mov    %rax,%rsi
shr    $0x5,%rsi
add    $0x1,%rsi
mov    %esi,%r9d
and    $0x3,%r9d
cmp    $0x60,%rax
jae    124a <tokenizer+0x14a>
xor    %eax,%eax
jmp    12a8 <tokenizer+0x1a8>
and    $0xfffffffffffffffc,%rsi
xor    %eax,%eax
movups (%rdi,%rax,1),%xmm0
movups 0x10(%rdi,%rax,1),%xmm1
movups %xmm0,(%rdx,%rax,1)
movups %xmm1,0x10(%rdx,%rax,1)
movups 0x20(%rdi,%rax,1),%xmm0
movups 0x30(%rdi,%rax,1),%xmm1
movups %xmm0,0x20(%rdx,%rax,1)
movups %xmm1,0x30(%rdx,%rax,1)
movups 0x40(%rdi,%rax,1),%xmm0
movups 0x50(%rdi,%rax,1),%xmm1
movups %xmm0,0x40(%rdx,%rax,1)
movups %xmm1,0x50(%rdx,%rax,1)
movups 0x60(%rdi,%rax,1),%xmm0
movups 0x70(%rdi,%rax,1),%xmm1
movups %xmm0,0x60(%rdx,%rax,1)
movups %xmm1,0x70(%rdx,%rax,1)
sub    $0xffffffffffffff80,%rax
add    $0xfffffffffffffffc,%rsi
jne    1250 <tokenizer+0x150>
test   %r9,%r9
je     12ed <tokenizer+0x1ed>
lea    (%rdx,%rax,1),%r10
add    $0x10,%r10
add    %rdi,%rax
add    $0x10,%rax
shl    $0x5,%r9
xor    %esi,%esi
cs nopw 0x0(%rax,%rax,1)
nopl   0x0(%rax)
movups -0x10(%rax,%rsi,1),%xmm0
movups (%rax,%rsi,1),%xmm1
movups %xmm0,-0x10(%r10,%rsi,1)
movups %xmm1,(%r10,%rsi,1)
add    $0x20,%rsi
cmp    %rsi,%r9
jne    12d0 <tokenizer+0x1d0>
add    %rcx,%rdi
cmp    %r8,%rcx
je     120b <tokenizer+0x10b>
jmp    117d <tokenizer+0x7d>

LLVM IR (-O0):
@tokenizer.last = internal global i8* null
define i32 @tokenizer(i8* %0, i8 signext %1, i8* %2) {
%4 = alloca i32
%5 = alloca i8*
%6 = alloca i8
%7 = alloca i8*
%8 = alloca i32
%9 = alloca i32
%10 = alloca i8*
%11 = alloca i32
store i8* %0, i8** %5
store i8 %1, i8* %6
store i8* %2, i8** %7
store i32 0, i32* %8
store i32 0, i32* %9
%12 = load i8*, i8** %5
%13 = icmp ne i8* %12, null
br i1 %13, label %14, label %16
14: ; preds = %3
%15 = load i8*, i8** %5
store i8* %15, i8** @tokenizer.last
br label %26
16: ; preds = %3
%17 = load i8*, i8** @tokenizer.last
%18 = icmp ne i8* %17, null
br i1 %18, label %19, label %24
19: ; preds = %16
%20 = load i8*, i8** @tokenizer.last
%21 = load i8, i8* %20
%22 = sext i8 %21 to i32
%23 = icmp eq i32 %22, 0
br i1 %23, label %24, label %25
24: ; preds = %19, %16
store i32 0, i32* %4
br label %85
25: ; preds = %19
br label %26
26: ; preds = %25, %14
%27 = load i8*, i8** @tokenizer.last
store i8* %27, i8** %10
br label %28
28: ; preds = %57, %26
%29 = load i8*, i8** %10
%30 = icmp ne i8* %29, null
br i1 %30, label %31, label %42
31: ; preds = %28
%32 = load i32, i32* %8
%33 = icmp ne i32 %32, 0
br i1 %33, label %42, label %34
34: ; preds = %31
%35 = load i8*, i8** @tokenizer.last
%36 = load i32, i32* %9
%37 = sext i32 %36 to i64
%38 = getelementptr inbounds i8, i8* %35, i64 %37
%39 = load i8, i8* %38
%40 = sext i8 %39 to i32
%41 = icmp ne i32 %40, 0
br label %42
42: ; preds = %34, %31, %28
%43 = phi i1 [ false, %31 ], [ false, %28 ], [ %41, %34 ]
br i1 %43, label %44, label %58
44: ; preds = %42
%45 = load i8*, i8** %10
%46 = load i8, i8* %45
%47 = sext i8 %46 to i32
%48 = load i8, i8* %6
%49 = sext i8 %48 to i32
%50 = icmp eq i32 %47, %49
br i1 %50, label %51, label %52
51: ; preds = %44
store i32 1, i32* %8
br label %57
52: ; preds = %44
%53 = load i8*, i8** %10
%54 = getelementptr inbounds i8, i8* %53, i32 1
store i8* %54, i8** %10
%55 = load i32, i32* %9
%56 = add nsw i32 %55, 1
store i32 %56, i32* %9
br label %57
57: ; preds = %52, %51
br label %28
58: ; preds = %42
%59 = load i32, i32* %8
%60 = icmp ne i32 %59, 0
br i1 %60, label %62, label %61
61: ; preds = %58
store i32 0, i32* %4
br label %85
62: ; preds = %58
store i32 0, i32* %11
br label %63
63: ; preds = %75, %62
%64 = load i32, i32* %11
%65 = load i32, i32* %9
%66 = icmp slt i32 %64, %65
br i1 %66, label %67, label %78
67: ; preds = %63
%68 = load i8*, i8** @tokenizer.last
%69 = getelementptr inbounds i8, i8* %68, i32 1
store i8* %69, i8** @tokenizer.last
%70 = load i8, i8* %68
%71 = load i8*, i8** %7
%72 = load i32, i32* %11
%73 = sext i32 %72 to i64
%74 = getelementptr inbounds i8, i8* %71, i64 %73
store i8 %70, i8* %74
br label %75
75: ; preds = %67
%76 = load i32, i32* %11
%77 = add nsw i32 %76, 1
store i32 %77, i32* %11
br label %63
78: ; preds = %63
%79 = load i8*, i8** %7
%80 = load i32, i32* %9
%81 = sext i32 %80 to i64
%82 = getelementptr inbounds i8, i8* %79, i64 %81
store i8 0, i8* %82
%83 = load i8*, i8** @tokenizer.last
%84 = getelementptr inbounds i8, i8* %83, i32 1
store i8* %84, i8** @tokenizer.last
store i32 1, i32* %4
br label %85
85: ; preds = %78, %61, %24
%86 = load i32, i32* %4
ret i32 %86
}

LLVM IR (-O2):
@tokenizer.last = internal unnamed_addr global i8* null
define i32 @tokenizer(i8* %0, i8 signext %1, i8* nocapture writeonly %2) {
%4 = icmp eq i8* %0, null
br i1 %4, label %6, label %5
5: ; preds = %3
store i8* %0, i8** @tokenizer.last
br label %12
6: ; preds = %3
%7 = load i8*, i8** @tokenizer.last
%8 = icmp eq i8* %7, null
br i1 %8, label %170, label %9
9: ; preds = %6
%10 = load i8, i8* %7
%11 = icmp eq i8 %10, 0
br i1 %11, label %170, label %12
12: ; preds = %5, %9
%13 = phi i8* [ %7, %9 ], [ %0, %5 ]
br label %14
14: ; preds = %12, %21
%15 = phi i8* [ %28, %21 ], [ %13, %12 ]
%16 = phi i32 [ %26, %21 ], [ 0, %12 ]
%17 = zext i32 %16 to i64
%18 = getelementptr inbounds i8, i8* %13, i64 %17
%19 = load i8, i8* %18
%20 = icmp eq i8 %19, 0
br i1 %20, label %170, label %21
21: ; preds = %14
%22 = load i8, i8* %15
%23 = icmp eq i8 %22, %1
%24 = xor i1 %23, true
%25 = zext i1 %24 to i32
%26 = add nuw nsw i32 %16, %25
%27 = zext i1 %24 to i64
%28 = getelementptr i8, i8* %15, i64 %27
%29 = icmp eq i8* %28, null
%30 = or i1 %23, %29
br i1 %30, label %31, label %14
31: ; preds = %21
br i1 %23, label %32, label %170
32: ; preds = %31
%33 = icmp eq i32 %26, 0
br i1 %33, label %165, label %34
34: ; preds = %32
%35 = zext i32 %26 to i64
%36 = icmp ult i32 %26, 32
br i1 %36, label %123, label %37
37: ; preds = %34
%38 = getelementptr i8, i8* %2, i64 %35
%39 = getelementptr i8, i8* %13, i64 %35
%40 = icmp ugt i8* %39, %2
%41 = icmp ult i8* %13, %38
%42 = and i1 %40, %41
br i1 %42, label %123, label %43
43: ; preds = %37
%44 = and i64 %35, 2147483616
%45 = getelementptr i8, i8* %13, i64 %44
%46 = add nsw i64 %44, -32
%47 = lshr exact i64 %46, 5
%48 = add nuw nsw i64 %47, 1
%49 = and i64 %48, 3
%50 = icmp ult i64 %46, 96
br i1 %50, label %102, label %51
51: ; preds = %43
%52 = and i64 %48, 1152921504606846972
br label %53
53: ; preds = %53, %51
%54 = phi i64 [ 0, %51 ], [ %99, %53 ]
%55 = phi i64 [ 0, %51 ], [ %100, %53 ]
%56 = getelementptr i8, i8* %13, i64 %54
%57 = bitcast i8* %56 to <16 x i8>*
%58 = load <16 x i8>, <16 x i8>* %57
%59 = getelementptr i8, i8* %56, i64 16
%60 = bitcast i8* %59 to <16 x i8>*
%61 = load <16 x i8>, <16 x i8>* %60
%62 = getelementptr inbounds i8, i8* %2, i64 %54
%63 = bitcast i8* %62 to <16 x i8>*
store <16 x i8> %58, <16 x i8>* %63
%64 = getelementptr inbounds i8, i8* %62, i64 16
%65 = bitcast i8* %64 to <16 x i8>*
store <16 x i8> %61, <16 x i8>* %65
%66 = or i64 %54, 32
%67 = getelementptr i8, i8* %13, i64 %66
%68 = bitcast i8* %67 to <16 x i8>*
%69 = load <16 x i8>, <16 x i8>* %68
%70 = getelementptr i8, i8* %67, i64 16
%71 = bitcast i8* %70 to <16 x i8>*
%72 = load <16 x i8>, <16 x i8>* %71
%73 = getelementptr inbounds i8, i8* %2, i64 %66
%74 = bitcast i8* %73 to <16 x i8>*
store <16 x i8> %69, <16 x i8>* %74
%75 = getelementptr inbounds i8, i8* %73, i64 16
%76 = bitcast i8* %75 to <16 x i8>*
store <16 x i8> %72, <16 x i8>* %76
%77 = or i64 %54, 64
%78 = getelementptr i8, i8* %13, i64 %77
%79 = bitcast i8* %78 to <16 x i8>*
%80 = load <16 x i8>, <16 x i8>* %79
%81 = getelementptr i8, i8* %78, i64 16
%82 = bitcast i8* %81 to <16 x i8>*
%83 = load <16 x i8>, <16 x i8>* %82
%84 = getelementptr inbounds i8, i8* %2, i64 %77
%85 = bitcast i8* %84 to <16 x i8>*
store <16 x i8> %80, <16 x i8>* %85
%86 = getelementptr inbounds i8, i8* %84, i64 16
%87 = bitcast i8* %86 to <16 x i8>*
store <16 x i8> %83, <16 x i8>* %87
%88 = or i64 %54, 96
%89 = getelementptr i8, i8* %13, i64 %88
%90 = bitcast i8* %89 to <16 x i8>*
%91 = load <16 x i8>, <16 x i8>* %90
%92 = getelementptr i8, i8* %89, i64 16
%93 = bitcast i8* %92 to <16 x i8>*
%94 = load <16 x i8>, <16 x i8>* %93
%95 = getelementptr inbounds i8, i8* %2, i64 %88
%96 = bitcast i8* %95 to <16 x i8>*
store <16 x i8> %91, <16 x i8>* %96
%97 = getelementptr inbounds i8, i8* %95, i64 16
%98 = bitcast i8* %97 to <16 x i8>*
store <16 x i8> %94, <16 x i8>* %98
%99 = add nuw i64 %54, 128
%100 = add i64 %55, 4
%101 = icmp eq i64 %100, %52
br i1 %101, label %102, label %53
102: ; preds = %53, %43
%103 = phi i64 [ 0, %43 ], [ %99, %53 ]
%104 = icmp eq i64 %49, 0
br i1 %104, label %121, label %105
105: ; preds = %102, %105
%106 = phi i64 [ %118, %105 ], [ %103, %102 ]
%107 = phi i64 [ %119, %105 ], [ 0, %102 ]
%108 = getelementptr i8, i8* %13, i64 %106
%109 = bitcast i8* %108 to <16 x i8>*
%110 = load <16 x i8>, <16 x i8>* %109
%111 = getelementptr i8, i8* %108, i64 16
%112 = bitcast i8* %111 to <16 x i8>*
%113 = load <16 x i8>, <16 x i8>* %112
%114 = getelementptr inbounds i8, i8* %2, i64 %106
%115 = bitcast i8* %114 to <16 x i8>*
store <16 x i8> %110, <16 x i8>* %115
%116 = getelementptr inbounds i8, i8* %114, i64 16
%117 = bitcast i8* %116 to <16 x i8>*
store <16 x i8> %113, <16 x i8>* %117
%118 = add nuw i64 %106, 32
%119 = add i64 %107, 1
%120 = icmp eq i64 %119, %49
br i1 %120, label %121, label %105
121: ; preds = %105, %102
%122 = icmp eq i64 %44, %35
br i1 %122, label %165, label %123
123: ; preds = %37, %34, %121
%124 = phi i64 [ 0, %37 ], [ 0, %34 ], [ %44, %121 ]
%125 = phi i8* [ %13, %37 ], [ %13, %34 ], [ %45, %121 ]
%126 = xor i64 %124, -1
%127 = add nsw i64 %126, %35
%128 = and i64 %35, 3
%129 = icmp eq i64 %128, 0
br i1 %129, label %140, label %130
130: ; preds = %123, %130
%131 = phi i64 [ %137, %130 ], [ %124, %123 ]
%132 = phi i8* [ %134, %130 ], [ %125, %123 ]
%133 = phi i64 [ %138, %130 ], [ 0, %123 ]
%134 = getelementptr inbounds i8, i8* %132, i64 1
%135 = load i8, i8* %132
%136 = getelementptr inbounds i8, i8* %2, i64 %131
store i8 %135, i8* %136
%137 = add nuw nsw i64 %131, 1
%138 = add i64 %133, 1
%139 = icmp eq i64 %138, %128
br i1 %139, label %140, label %130
140: ; preds = %130, %123
%141 = phi i8* [ undef, %123 ], [ %134, %130 ]
%142 = phi i64 [ %124, %123 ], [ %137, %130 ]
%143 = phi i8* [ %125, %123 ], [ %134, %130 ]
%144 = icmp ult i64 %127, 3
br i1 %144, label %165, label %145
145: ; preds = %140, %145
%146 = phi i64 [ %163, %145 ], [ %142, %140 ]
%147 = phi i8* [ %160, %145 ], [ %143, %140 ]
%148 = getelementptr inbounds i8, i8* %147, i64 1
%149 = load i8, i8* %147
%150 = getelementptr inbounds i8, i8* %2, i64 %146
store i8 %149, i8* %150
%151 = add nuw nsw i64 %146, 1
%152 = getelementptr inbounds i8, i8* %147, i64 2
%153 = load i8, i8* %148
%154 = getelementptr inbounds i8, i8* %2, i64 %151
store i8 %153, i8* %154
%155 = add nuw nsw i64 %146, 2
%156 = getelementptr inbounds i8, i8* %147, i64 3
%157 = load i8, i8* %152
%158 = getelementptr inbounds i8, i8* %2, i64 %155
store i8 %157, i8* %158
%159 = add nuw nsw i64 %146, 3
%160 = getelementptr inbounds i8, i8* %147, i64 4
%161 = load i8, i8* %156
%162 = getelementptr inbounds i8, i8* %2, i64 %159
store i8 %161, i8* %162
%163 = add nuw nsw i64 %146, 4
%164 = icmp eq i64 %163, %35
br i1 %164, label %165, label %145
165: ; preds = %140, %145, %121, %32
%166 = phi i64 [ 0, %32 ], [ %35, %121 ], [ %35, %145 ], [ %35, %140 ]
%167 = phi i8* [ %13, %32 ], [ %45, %121 ], [ %141, %140 ], [ %160, %145 ]
%168 = getelementptr inbounds i8, i8* %2, i64 %166
store i8 0, i8* %168
%169 = getelementptr inbounds i8, i8* %167, i64 1
store i8* %169, i8** @tokenizer.last
br label %170
170: ; preds = %14, %31, %6, %9, %165
%171 = phi i32 [ 1, %165 ], [ 0, %9 ], [ 0, %6 ], [ 0, %31 ], [ 0, %14 ]
ret i32 %171
}