#define NULL ((void *)0)
typedef unsigned long size_t; // Customize by platform.
typedef long intptr_t;
typedef unsigned long uintptr_t;
typedef long scalar_t__; // Either arithmetic or pointer type.
/* By default, we understand bool (as a convenience). */
typedef int bool;
#define false 0
#define true 1

/* Forward declarations */

/* Type definitions */

/* Variables and functions */
int strlen(char const *);
void tokenize(const char *text, const int maxtokens, const int maxwhites,
              int *token_starts, int *token_ends, int *ntokens,
              int *white_starts, int *white_ends, int *nwhites) {
  int len = strlen(text);
  *ntokens = 0;
  *nwhites = 0;
  int pos;
  for (pos = 0; pos < len; pos++) {
    if ((*nwhites == maxwhites) || (*ntokens == maxtokens))
      break;
    if (text[pos] == ' ' || text[pos] == '\n') {
      if (pos == 0) {
        white_starts[*nwhites] = 0;
        white_ends[*nwhites] = 1;
        *nwhites = *nwhites + 1;
      } else if (text[pos - 1] != ' ' && text[pos - 1] != '\n') {
        white_starts[*nwhites] = pos;
        white_ends[*nwhites] = pos + 1;
        *nwhites = *nwhites + 1;
      } else {
        white_ends[*nwhites - 1] += 1;
      }
    } else {
      if (pos == 0) {
        token_starts[*ntokens] = 0;
        token_ends[*ntokens] = 1;
        *ntokens = *ntokens + 1;
      } else if (text[pos - 1] != ' ' && text[pos - 1] != '\n') {
        token_ends[*ntokens - 1] += 1;
      } else {
        token_starts[*ntokens] = pos;
        token_ends[*ntokens] = pos + 1;
        *ntokens = *ntokens + 1;
      }
    }
  }
}


x86 assembly (clang, -O0):
<tokenize>:
push   %rbp
mov    %rsp,%rbp
sub    $0x30,%rsp
mov    0x20(%rbp),%rax
mov    0x18(%rbp),%rax
mov    0x10(%rbp),%rax
mov    %rdi,-0x8(%rbp)
mov    %esi,-0xc(%rbp)
mov    %edx,-0x10(%rbp)
mov    %rcx,-0x18(%rbp)
mov    %r8,-0x20(%rbp)
mov    %r9,-0x28(%rbp)
mov    -0x8(%rbp),%rdi
call   1030 <strlen@plt>
mov    %eax,-0x2c(%rbp)
mov    -0x28(%rbp),%rax
movl   $0x0,(%rax)
mov    0x20(%rbp),%rax
movl   $0x0,(%rax)
movl   $0x0,-0x30(%rbp)
mov    -0x30(%rbp),%eax
cmp    -0x2c(%rbp),%eax
jge    1371 <tokenize+0x261>
mov    0x20(%rbp),%rax
mov    (%rax),%eax
cmp    -0x10(%rbp),%eax
je     118b <tokenize+0x7b>
mov    -0x28(%rbp),%rax
mov    (%rax),%eax
cmp    -0xc(%rbp),%eax
jne    1190 <tokenize+0x80>
jmp    1371 <tokenize+0x261>
mov    -0x8(%rbp),%rax
movslq -0x30(%rbp),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x20,%eax
je     11ba <tokenize+0xaa>
mov    -0x8(%rbp),%rax
movslq -0x30(%rbp),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0xa,%eax
jne    128c <tokenize+0x17c>
cmpl   $0x0,-0x30(%rbp)
jne    11fc <tokenize+0xec>
mov    0x10(%rbp),%rax
mov    0x20(%rbp),%rcx
movslq (%rcx),%rcx
movl   $0x0,(%rax,%rcx,4)
mov    0x18(%rbp),%rax
mov    0x20(%rbp),%rcx
movslq (%rcx),%rcx
movl   $0x1,(%rax,%rcx,4)
mov    0x20(%rbp),%rax
mov    (%rax),%ecx
add    $0x1,%ecx
mov    0x20(%rbp),%rax
mov    %ecx,(%rax)
jmp    1287 <tokenize+0x177>
mov    -0x8(%rbp),%rax
mov    -0x30(%rbp),%ecx
sub    $0x1,%ecx
movslq %ecx,%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x20,%eax
je     1269 <tokenize+0x159>
mov    -0x8(%rbp),%rax
mov    -0x30(%rbp),%ecx
sub    $0x1,%ecx
movslq %ecx,%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0xa,%eax
je     1269 <tokenize+0x159>
mov    -0x30(%rbp),%edx
mov    0x10(%rbp),%rax
mov    0x20(%rbp),%rcx
movslq (%rcx),%rcx
mov    %edx,(%rax,%rcx,4)
mov    -0x30(%rbp),%edx
add    $0x1,%edx
mov    0x18(%rbp),%rax
mov    0x20(%rbp),%rcx
movslq (%rcx),%rcx
mov    %edx,(%rax,%rcx,4)
mov    0x20(%rbp),%rax
mov    (%rax),%ecx
add    $0x1,%ecx
mov    0x20(%rbp),%rax
mov    %ecx,(%rax)
jmp    1282 <tokenize+0x172>
mov    0x18(%rbp),%rax
mov    0x20(%rbp),%rcx
mov    (%rcx),%ecx
sub    $0x1,%ecx
movslq %ecx,%rcx
mov    (%rax,%rcx,4),%edx
add    $0x1,%edx
mov    %edx,(%rax,%rcx,4)
jmp    1287 <tokenize+0x177>
jmp    135e <tokenize+0x24e>
cmpl   $0x0,-0x30(%rbp)
jne    12ce <tokenize+0x1be>
mov    -0x18(%rbp),%rax
mov    -0x28(%rbp),%rcx
movslq (%rcx),%rcx
movl   $0x0,(%rax,%rcx,4)
mov    -0x20(%rbp),%rax
mov    -0x28(%rbp),%rcx
movslq (%rcx),%rcx
movl   $0x1,(%rax,%rcx,4)
mov    -0x28(%rbp),%rax
mov    (%rax),%ecx
add    $0x1,%ecx
mov    -0x28(%rbp),%rax
mov    %ecx,(%rax)
jmp    1359 <tokenize+0x249>
mov    -0x8(%rbp),%rax
mov    -0x30(%rbp),%ecx
sub    $0x1,%ecx
movslq %ecx,%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x20,%eax
je     1320 <tokenize+0x210>
mov    -0x8(%rbp),%rax
mov    -0x30(%rbp),%ecx
sub    $0x1,%ecx
movslq %ecx,%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0xa,%eax
je     1320 <tokenize+0x210>
mov    -0x20(%rbp),%rax
mov    -0x28(%rbp),%rcx
mov    (%rcx),%ecx
sub    $0x1,%ecx
movslq %ecx,%rcx
mov    (%rax,%rcx,4),%edx
add    $0x1,%edx
mov    %edx,(%rax,%rcx,4)
jmp    1354 <tokenize+0x244>
mov    -0x30(%rbp),%edx
mov    -0x18(%rbp),%rax
mov    -0x28(%rbp),%rcx
movslq (%rcx),%rcx
mov    %edx,(%rax,%rcx,4)
mov    -0x30(%rbp),%edx
add    $0x1,%edx
mov    -0x20(%rbp),%rax
mov    -0x28(%rbp),%rcx
movslq (%rcx),%rcx
mov    %edx,(%rax,%rcx,4)
mov    -0x28(%rbp),%rax
mov    (%rax),%ecx
add    $0x1,%ecx
mov    -0x28(%rbp),%rax
mov    %ecx,(%rax)
jmp    1359 <tokenize+0x249>
jmp    135e <tokenize+0x24e>
jmp    1363 <tokenize+0x253>
mov    -0x30(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x30(%rbp)
jmp    1161 <tokenize+0x51>
add    $0x30,%rsp
pop    %rbp
ret

x86 assembly (clang, -O2):
<tokenize>:
push   %rbp
push   %r15
push   %r14
push   %r13
push   %r12
push   %rbx
push   %rax
mov    %r9,%rbx
mov    %r8,%r14
mov    %rcx,(%rsp)
mov    %edx,%r13d
mov    %esi,%r12d
mov    %rdi,%rbp
mov    0x50(%rsp),%r15
call   1030 <strlen@plt>
movl   $0x0,(%rbx)
movl   $0x0,(%r15)
test   %eax,%eax
jle    1248 <tokenize+0x138>
test   %r13d,%r13d
je     1248 <tokenize+0x138>
mov    0x48(%rsp),%r9
mov    0x40(%rsp),%r8
mov    %eax,%eax
add    $0xffffffffffffffff,%rax
xor    %esi,%esi
xor    %edx,%edx
nopw   0x0(%rax,%rax,1)
movslq (%rbx),%rdi
cmp    %r12d,%edi
je     1248 <tokenize+0x138>
movzbl 0x0(%rbp,%rsi,1),%ecx
cmp    $0x20,%cl
je     118b <tokenize+0x7b>
cmp    $0xa,%cl
jne    11b0 <tokenize+0xa0>
movslq %edx,%rdx
test   %rsi,%rsi
je     11e0 <tokenize+0xd0>
movzbl -0x1(%rbp,%rsi,1),%ecx
cmp    $0xa,%cl
je     11a2 <tokenize+0x92>
cmp    $0x20,%cl
jne    11f8 <tokenize+0xe8>
lea    (%r9,%rdx,4),%rdx
add    $0xfffffffffffffffc,%rdx
jmp    1230 <tokenize+0x120>
nop
test   %rsi,%rsi
je     120b <tokenize+0xfb>
movzbl -0x1(%rbp,%rsi,1),%ecx
cmp    $0xa,%cl
je     11c4 <tokenize+0xb4>
cmp    $0x20,%cl
jne    1226 <tokenize+0x116>
mov    (%rsp),%rcx
mov    %esi,(%rcx,%rdi,4)
movslq (%rbx),%rcx
lea    0x1(%rsi),%edx
mov    %edx,(%r14,%rcx,4)
jmp    1221 <tokenize+0x111>
nopw   0x0(%rax,%rax,1)
movl   $0x0,(%r8,%rdx,4)
movslq (%r15),%rcx
movl   $0x1,(%r9,%rcx,4)
mov    %r15,%rdx
jmp    1230 <tokenize+0x120>
mov    %esi,(%r8,%rdx,4)
movslq (%r15),%rcx
lea    0x1(%rsi),%edx
mov    %edx,(%r9,%rcx,4)
mov    %r15,%rdx
jmp    1230 <tokenize+0x120>
mov    (%rsp),%rcx
movl   $0x0,(%rcx,%rdi,4)
movslq (%rbx),%rcx
movl   $0x1,(%r14,%rcx,4)
mov    %rbx,%rdx
jmp    1230 <tokenize+0x120>
lea    (%r14,%rdi,4),%rdx
add    $0xfffffffffffffffc,%rdx
xchg   %ax,%ax
addl   $0x1,(%rdx)
cmp    %rsi,%rax
je     1248 <tokenize+0x138>
mov    (%r15),%edx
add    $0x1,%rsi
cmp    %r13d,%edx
jne    1170 <tokenize+0x60>
add    $0x8,%rsp
pop    %rbx
pop    %r12
pop    %r13
pop    %r14
pop    %r15
pop    %rbp
ret

LLVM IR (-O0):
define void @tokenize(i8* %0, i32 %1, i32 %2, i32* %3, i32* %4, i32* %5, i32* %6, i32* %7, i32* %8) {
%10 = alloca i8*
%11 = alloca i32
%12 = alloca i32
%13 = alloca i32*
%14 = alloca i32*
%15 = alloca i32*
%16 = alloca i32*
%17 = alloca i32*
%18 = alloca i32*
%19 = alloca i32
%20 = alloca i32
store i8* %0, i8** %10
store i32 %1, i32* %11
store i32 %2, i32* %12
store i32* %3, i32** %13
store i32* %4, i32** %14
store i32* %5, i32** %15
store i32* %6, i32** %16
store i32* %7, i32** %17
store i32* %8, i32** %18
%21 = load i8*, i8** %10
%22 = call i32 @strlen(i8* %21)
store i32 %22, i32* %19
%23 = load i32*, i32** %15
store i32 0, i32* %23
%24 = load i32*, i32** %18
store i32 0, i32* %24
store i32 0, i32* %20
br label %25
25: ; preds = %187, %9
%26 = load i32, i32* %20
%27 = load i32, i32* %19
%28 = icmp slt i32 %26, %27
br i1 %28, label %29, label %190
29: ; preds = %25
%30 = load i32*, i32** %18
%31 = load i32, i32* %30
%32 = load i32, i32* %12
%33 = icmp eq i32 %31, %32
br i1 %33, label %39, label %34
34: ; preds = %29
%35 = load i32*, i32** %15
%36 = load i32, i32* %35
%37 = load i32, i32* %11
%38 = icmp eq i32 %36, %37
br i1 %38, label %39, label %40
39: ; preds = %34, %29
br label %190
40: ; preds = %34
%41 = load i8*, i8** %10
%42 = load i32, i32* %20
%43 = sext i32 %42 to i64
%44 = getelementptr inbounds i8, i8* %41, i64 %43
%45 = load i8, i8* %44
%46 = sext i8 %45 to i32
%47 = icmp eq i32 %46, 32
br i1 %47, label %56, label %48
48: ; preds = %40
%49 = load i8*, i8** %10
%50 = load i32, i32* %20
%51 = sext i32 %50 to i64
%52 = getelementptr inbounds i8, i8* %49, i64 %51
%53 = load i8, i8* %52
%54 = sext i8 %53 to i32
%55 = icmp eq i32 %54, 10
br i1 %55, label %56, label %121
56: ; preds = %48, %40
%57 = load i32, i32* %20
%58 = icmp eq i32 %57, 0
br i1 %58, label %59, label %74
59: ; preds = %56
%60 = load i32*, i32** %16
%61 = load i32*, i32** %18
%62 = load i32, i32* %61
%63 = sext i32 %62 to i64
%64 = getelementptr inbounds i32, i32* %60, i64 %63
store i32 0, i32* %64
%65 = load i32*, i32** %17
%66 = load i32*, i32** %18
%67 = load i32, i32* %66
%68 = sext i32 %67 to i64
%69 = getelementptr inbounds i32, i32* %65, i64 %68
store i32 1, i32* %69
%70 = load i32*, i32** %18
%71 = load i32, i32* %70
%72 = add nsw i32 %71, 1
%73 = load i32*, i32** %18
store i32 %72, i32* %73
br label %120
74: ; preds = %56
%75 = load i8*, i8** %10
%76 = load i32, i32* %20
%77 = sub nsw i32 %76, 1
%78 = sext i32 %77 to i64
%79 = getelementptr inbounds i8, i8* %75, i64 %78
%80 = load i8, i8* %79
%81 = sext i8 %80 to i32
%82 = icmp ne i32 %81, 32
br i1 %82, label %83, label %110
83: ; preds = %74
%84 = load i8*, i8** %10
%85 = load i32, i32* %20
%86 = sub nsw i32 %85, 1
%87 = sext i32 %86 to i64
%88 = getelementptr inbounds i8, i8* %84, i64 %87
%89 = load i8, i8* %88
%90 = sext i8 %89 to i32
%91 = icmp ne i32 %90, 10
br i1 %91, label %92, label %110
92: ; preds = %83
%93 = load i32, i32* %20
%94 = load i32*, i32** %16
%95 = load i32*, i32** %18
%96 = load i32, i32* %95
%97 = sext i32 %96 to i64
%98 = getelementptr inbounds i32, i32* %94, i64 %97
store i32 %93, i32* %98
%99 = load i32, i32* %20
%100 = add nsw i32 %99, 1
%101 = load i32*, i32** %17
%102 = load i32*, i32** %18
%103 = load i32, i32* %102
%104 = sext i32 %103 to i64
%105 = getelementptr inbounds i32, i32* %101, i64 %104
store i32 %100, i32* %105
%106 = load i32*, i32** %18
%107 = load i32, i32* %106
%108 = add nsw i32 %107, 1
%109 = load i32*, i32** %18
store i32 %108, i32* %109
br label %119
110: ; preds = %83, %74
%111 = load i32*, i32** %17
%112 = load i32*, i32** %18
%113 = load i32, i32* %112
%114 = sub nsw i32 %113, 1
%115 = sext i32 %114 to i64
%116 = getelementptr inbounds i32, i32* %111, i64 %115
%117 = load i32, i32* %116
%118 = add nsw i32 %117, 1
store i32 %118, i32* %116
br label %119
119: ; preds = %110, %92
br label %120
120: ; preds = %119, %59
br label %186
121: ; preds = %48
%122 = load i32, i32* %20
%123 = icmp eq i32 %122, 0
br i1 %123, label %124, label %139
124: ; preds = %121
%125 = load i32*, i32** %13
%126 = load i32*, i32** %15
%127 = load i32, i32* %126
%128 = sext i32 %127 to i64
%129 = getelementptr inbounds i32, i32* %125, i64 %128
store i32 0, i32* %129
%130 = load i32*, i32** %14
%131 = load i32*, i32** %15
%132 = load i32, i32* %131
%133 = sext i32 %132 to i64
%134 = getelementptr inbounds i32, i32* %130, i64 %133
store i32 1, i32* %134
%135 = load i32*, i32** %15
%136 = load i32, i32* %135
%137 = add nsw i32 %136, 1
%138 = load i32*, i32** %15
store i32 %137, i32* %138
br label %185
139: ; preds = %121
%140 = load i8*, i8** %10
%141 = load i32, i32* %20
%142 = sub nsw i32 %141, 1
%143 = sext i32 %142 to i64
%144 = getelementptr inbounds i8, i8* %140, i64 %143
%145 = load i8, i8* %144
%146 = sext i8 %145 to i32
%147 = icmp ne i32 %146, 32
br i1 %147, label %148, label %166
148: ; preds = %139
%149 = load i8*, i8** %10
%150 = load i32, i32* %20
%151 = sub nsw i32 %150, 1
%152 = sext i32 %151 to i64
%153 = getelementptr inbounds i8, i8* %149, i64 %152
%154 = load i8, i8* %153
%155 = sext i8 %154 to i32
%156 = icmp ne i32 %155, 10
br i1 %156, label %157, label %166
157: ; preds = %148
%158 = load i32*, i32** %14
%159 = load i32*, i32** %15
%160 = load i32, i32* %159
%161 = sub nsw i32 %160, 1
%162 = sext i32 %161 to i64
%163 = getelementptr inbounds i32, i32* %158, i64 %162
%164 = load i32, i32* %163
%165 = add nsw i32 %164, 1
store i32 %165, i32* %163
br label %184
166: ; preds = %148, %139
%167 = load i32, i32* %20
%168 = load i32*, i32** %13
%169 = load i32*, i32** %15
%170 = load i32, i32* %169
%171 = sext i32 %170 to i64
%172 = getelementptr inbounds i32, i32* %168, i64 %171
store i32 %167, i32* %172
%173 = load i32, i32* %20
%174 = add nsw i32 %173, 1
%175 = load i32*, i32** %14
%176 = load i32*, i32** %15
%177 = load i32, i32* %176
%178 = sext i32 %177 to i64
%179 = getelementptr inbounds i32, i32* %175, i64 %178
store i32 %174, i32* %179
%180 = load i32*, i32** %15
%181 = load i32, i32* %180
%182 = add nsw i32 %181, 1
%183 = load i32*, i32** %15
store i32 %182, i32* %183
br label %184
184: ; preds = %166, %157
br label %185
185: ; preds = %184, %124
br label %186
186: ; preds = %185, %120
br label %187
187: ; preds = %186
%188 = load i32, i32* %20
%189 = add nsw i32 %188, 1
store i32 %189, i32* %20
br label %25
190: ; preds = %39, %25
ret void
}

LLVM IR (-O2):
define void @tokenize(i8* %0, i32 %1, i32 %2, i32* nocapture writeonly %3, i32* nocapture %4, i32* nocapture %5, i32* nocapture writeonly %6, i32* nocapture %7, i32* nocapture %8) {
%10 = tail call i32 @strlen(i8* %0)
store i32 0, i32* %5
store i32 0, i32* %8
%11 = icmp sgt i32 %10, 0
br i1 %11, label %12, label %82
12: ; preds = %9
%13 = zext i32 %10 to i64
%14 = icmp eq i32 %2, 0
br i1 %14, label %82, label %15
15: ; preds = %12, %79
%16 = phi i64 [ %77, %79 ], [ 0, %12 ]
%17 = phi i32 [ %80, %79 ], [ 0, %12 ]
%18 = load i32, i32* %5
%19 = icmp eq i32 %18, %1
br i1 %19, label %82, label %20
20: ; preds = %15
%21 = getelementptr inbounds i8, i8* %0, i64 %16
%22 = load i8, i8* %21
switch i8 %22, label %48 [
i8 32, label %23
i8 10, label %23
]
23: ; preds = %20, %20
%24 = icmp eq i64 %16, 0
br i1 %24, label %25, label %31
25: ; preds = %23
%26 = sext i32 %17 to i64
%27 = getelementptr inbounds i32, i32* %6, i64 %26
store i32 0, i32* %27
%28 = load i32, i32* %8
%29 = sext i32 %28 to i64
%30 = getelementptr inbounds i32, i32* %7, i64 %29
store i32 1, i32* %30
br label %73
31: ; preds = %23
%32 = add nsw i64 %16, -1
%33 = getelementptr inbounds i8, i8* %0, i64 %32
%34 = load i8, i8* %33
switch i8 %34, label %35 [
i8 32, label %44
i8 10, label %44
]
35: ; preds = %31
%36 = sext i32 %17 to i64
%37 = getelementptr inbounds i32, i32* %6, i64 %36
%38 = trunc i64 %16 to i32
store i32 %38, i32* %37
%39 = load i32, i32* %8
%40 = sext i32 %39 to i64
%41 = getelementptr inbounds i32, i32* %7, i64 %40
%42 = trunc i64 %16 to i32
%43 = add i32 %42, 1
store i32 %43, i32* %41
br label %73
44: ; preds = %31, %31
%45 = add nsw i32 %17, -1
%46 = sext i32 %45 to i64
%47 = getelementptr inbounds i32, i32* %7, i64 %46
br label %73
48: ; preds = %20
%49 = icmp eq i64 %16, 0
br i1 %49, label %50, label %56
50: ; preds = %48
%51 = sext i32 %18 to i64
%52 = getelementptr inbounds i32, i32* %3, i64 %51
store i32 0, i32* %52
%53 = load i32, i32* %5
%54 = sext i32 %53 to i64
%55 = getelementptr inbounds i32, i32* %4, i64 %54
store i32 1, i32* %55
br label %73
56: ; preds = %48
%57 = add nsw i64 %16, -1
%58 = getelementptr inbounds i8, i8* %0, i64 %57
%59 = load i8, i8* %58
switch i8 %59, label %60 [
i8 32, label %64
i8 10, label %64
]
60: ; preds = %56
%61 = add nsw i32 %18, -1
%62 = sext i32 %61 to i64
%63 = getelementptr inbounds i32, i32* %4, i64 %62
br label %73
64: ; preds = %56, %56
%65 = sext i32 %18 to i64
%66 = getelementptr inbounds i32, i32* %3, i64 %65
%67 = trunc i64 %16 to i32
store i32 %67, i32* %66
%68 = load i32, i32* %5
%69 = sext i32 %68 to i64
%70 = getelementptr inbounds i32, i32* %4, i64 %69
%71 = trunc i64 %16 to i32
%72 = add i32 %71, 1
store i32 %72, i32* %70
br label %73
73: ; preds = %35, %44, %25, %60, %64, %50
%74 = phi i32* [ %8, %35 ], [ %47, %44 ], [ %8, %25 ], [ %63, %60 ], [ %5, %64 ], [ %5, %50 ]
%75 = load i32, i32* %74
%76 = add nsw i32 %75, 1
store i32 %76, i32* %74
%77 = add nuw nsw i64 %16, 1
%78 = icmp eq i64 %77, %13
br i1 %78, label %82, label %79
79: ; preds = %73
%80 = load i32, i32* %8
%81 = icmp eq i32 %80, %2
br i1 %81, label %82, label %15
82: ; preds = %79, %15, %73, %12, %9
ret void
}