int tokenize(char *src, int length, char delimiter, char *tokens[],
             int max_tokens) {
  int tokens_found = 0;
  char *last_token_pos = src;
  while ((length-- > 0) && (tokens_found < max_tokens)) {
    if (*src == delimiter) {
      *src = '\0';
      tokens[tokens_found++] = last_token_pos;
      last_token_pos = src;
      last_token_pos++;
    }
    src++;
  }
  if (tokens_found < max_tokens) {
    tokens[tokens_found++] = last_token_pos;
  }
  return tokens_found;
}


x86 assembly (clang, -O0):
<tokenize>:
push   %rbp
mov    %rsp,%rbp
mov    %dl,%al
mov    %rdi,-0x8(%rbp)
mov    %esi,-0xc(%rbp)
mov    %al,-0xd(%rbp)
mov    %rcx,-0x18(%rbp)
mov    %r8d,-0x1c(%rbp)
movl   $0x0,-0x20(%rbp)
mov    -0x8(%rbp),%rax
mov    %rax,-0x28(%rbp)
mov    -0xc(%rbp),%ecx
mov    %ecx,%eax
add    $0xffffffff,%eax
mov    %eax,-0xc(%rbp)
xor    %eax,%eax
cmp    $0x0,%ecx
mov    %al,-0x29(%rbp)
jle    114c <tokenize+0x4c>
mov    -0x20(%rbp),%eax
cmp    -0x1c(%rbp),%eax
setl   %al
mov    %al,-0x29(%rbp)
mov    -0x29(%rbp),%al
test   $0x1,%al
jne    115c <tokenize+0x5c>
jmp    11b5 <tokenize+0xb5>
mov    -0x8(%rbp),%rax
movsbl (%rax),%eax
movsbl -0xd(%rbp),%ecx
cmp    %ecx,%eax
jne    11a4 <tokenize+0xa4>
mov    -0x8(%rbp),%rax
movb   $0x0,(%rax)
mov    -0x28(%rbp),%rdx
mov    -0x18(%rbp),%rax
mov    -0x20(%rbp),%ecx
mov    %ecx,%esi
add    $0x1,%esi
mov    %esi,-0x20(%rbp)
movslq %ecx,%rcx
mov    %rdx,(%rax,%rcx,8)
mov    -0x8(%rbp),%rax
mov    %rax,-0x28(%rbp)
mov    -0x28(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x28(%rbp)
mov    -0x8(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x8(%rbp)
jmp    1127 <tokenize+0x27>
mov    -0x20(%rbp),%eax
cmp    -0x1c(%rbp),%eax
jge    11db <tokenize+0xdb>
mov    -0x28(%rbp),%rdx
mov    -0x18(%rbp),%rax
mov    -0x20(%rbp),%ecx
mov    %ecx,%esi
add    $0x1,%esi
mov    %esi,-0x20(%rbp)
movslq %ecx,%rcx
mov    %rdx,(%rax,%rcx,8)
mov    -0x20(%rbp),%eax
pop    %rbp
ret

x86 assembly (clang, -O2):
<tokenize>:
test   %r8d,%r8d
setg   %r10b
xor    %eax,%eax
test   %esi,%esi
jle    1150 <tokenize+0x50>
test   %r8d,%r8d
jle    1150 <tokenize+0x50>
lea    0x1(%rdi),%r9
xor    %eax,%eax
nopl   0x0(%rax,%rax,1)
cmp    %dl,-0x1(%r9)
jne    1138 <tokenize+0x38>
movb   $0x0,-0x1(%r9)
movslq %eax,%r10
add    $0x1,%eax
mov    %rdi,(%rcx,%r10,8)
mov    %r9,%rdi
cmp    %r8d,%eax
setl   %r10b
cmp    $0x2,%esi
jb     1150 <tokenize+0x50>
add    $0x1,%r9
add    $0xffffffff,%esi
cmp    %r8d,%eax
jl     1120 <tokenize+0x20>
test   %r10b,%r10b
je     115f <tokenize+0x5f>
movslq %eax,%rdx
add    $0x1,%eax
mov    %rdi,(%rcx,%rdx,8)
ret

LLVM IR (-O0):
define i32 @tokenize(i8* %0, i32 %1, i8 signext %2, i8** %3, i32 %4) {
%6 = alloca i8*
%7 = alloca i32
%8 = alloca i8
%9 = alloca i8**
%10 = alloca i32
%11 = alloca i32
%12 = alloca i8*
store i8* %0, i8** %6
store i32 %1, i32* %7
store i8 %2, i8* %8
store i8** %3, i8*** %9
store i32 %4, i32* %10
store i32 0, i32* %11
%13 = load i8*, i8** %6
store i8* %13, i8** %12
br label %14
14: ; preds = %42, %5
%15 = load i32, i32* %7
%16 = add nsw i32 %15, -1
store i32 %16, i32* %7
%17 = icmp sgt i32 %15, 0
br i1 %17, label %18, label %22
18: ; preds = %14
%19 = load i32, i32* %11
%20 = load i32, i32* %10
%21 = icmp slt i32 %19, %20
br label %22
22: ; preds = %18, %14
%23 = phi i1 [ false, %14 ], [ %21, %18 ]
br i1 %23, label %24, label %45
24: ; preds = %22
%25 = load i8*, i8** %6
%26 = load i8, i8* %25
%27 = sext i8 %26 to i32
%28 = load i8, i8* %8
%29 = sext i8 %28 to i32
%30 = icmp eq i32 %27, %29
br i1 %30, label %31, label %42
31: ; preds = %24
%32 = load i8*, i8** %6
store i8 0, i8* %32
%33 = load i8*, i8** %12
%34 = load i8**, i8*** %9
%35 = load i32, i32* %11
%36 = add nsw i32 %35, 1
store i32 %36, i32* %11
%37 = sext i32 %35 to i64
%38 = getelementptr inbounds i8*, i8** %34, i64 %37
store i8* %33, i8** %38
%39 = load i8*, i8** %6
store i8* %39, i8** %12
%40 = load i8*, i8** %12
%41 = getelementptr inbounds i8, i8* %40, i32 1
store i8* %41, i8** %12
br label %42
42: ; preds = %31, %24
%43 = load i8*, i8** %6
%44 = getelementptr inbounds i8, i8* %43, i32 1
store i8* %44, i8** %6
br label %14
45: ; preds = %22
%46 = load i32, i32* %11
%47 = load i32, i32* %10
%48 = icmp slt i32 %46, %47
br i1 %48, label %49, label %56
49: ; preds = %45
%50 = load i8*, i8** %12
%51 = load i8**, i8*** %9
%52 = load i32, i32* %11
%53 = add nsw i32 %52, 1
store i32 %53, i32* %11
%54 = sext i32 %52 to i64
%55 = getelementptr inbounds i8*, i8** %51, i64 %54
store i8* %50, i8** %55
br label %56
56: ; preds = %49, %45
%57 = load i32, i32* %11
ret i32 %57
}

LLVM IR (-O2):
define i32 @tokenize(i8* %0, i32 %1, i8 signext %2, i8** nocapture writeonly %3, i32 %4) {
%6 = icmp sgt i32 %1, 0
%7 = icmp sgt i32 %4, 0
%8 = and i1 %6, %7
br i1 %8, label %9, label %29
9: ; preds = %5, %22
%10 = phi i32 [ %14, %22 ], [ %1, %5 ]
%11 = phi i8* [ %24, %22 ], [ %0, %5 ]
%12 = phi i32 [ %23, %22 ], [ 0, %5 ]
%13 = phi i8* [ %25, %22 ], [ %0, %5 ]
%14 = add nsw i32 %10, -1
%15 = load i8, i8* %13
%16 = icmp eq i8 %15, %2
br i1 %16, label %17, label %22
17: ; preds = %9
store i8 0, i8* %13
%18 = add nsw i32 %12, 1
%19 = sext i32 %12 to i64
%20 = getelementptr inbounds i8*, i8** %3, i64 %19
store i8* %11, i8** %20
%21 = getelementptr inbounds i8, i8* %13, i64 1
br label %22
22: ; preds = %17, %9
%23 = phi i32 [ %18, %17 ], [ %12, %9 ]
%24 = phi i8* [ %21, %17 ], [ %11, %9 ]
%25 = getelementptr inbounds i8, i8* %13, i64 1
%26 = icmp ugt i32 %10, 1
%27 = icmp slt i32 %23, %4
%28 = select i1 %26, i1 %27, i1 false
br i1 %28, label %9, label %29
29: ; preds = %22, %5
%30 = phi i32 [ 0, %5 ], [ %23, %22 ]
%31 = phi i8* [ %0, %5 ], [ %24, %22 ]
%32 = phi i1 [ %7, %5 ], [ %27, %22 ]
br i1 %32, label %33, label %37
33: ; preds = %29
%34 = add nsw i32 %30, 1
%35 = sext i32 %30 to i64
%36 = getelementptr inbounds i8*, i8** %3, i64 %35
store i8* %31, i8** %36
br label %37
37: ; preds = %33, %29
%38 = phi i32 [ %34, %33 ], [ %30, %29 ]
ret i32 %38
}