#define NULL ((void *)0)
typedef unsigned long size_t; // Customize by platform.
typedef long intptr_t;
typedef unsigned long uintptr_t;
typedef long scalar_t__; // Either arithmetic or pointer type.
/* By default, we understand bool (as a convenience). */
typedef int bool;
#define false 0
#define true 1

/* Forward declarations */

/* Type definitions */
struct cell {
  int dummy;
};
typedef size_t int32_t;

/* Variables and functions */
struct cell *append_Cell(struct cell *, int /*<<< orphan*/);
char *calloc(int, int);
int /*<<< orphan*/ free(char *);
int /*<<< orphan*/ make_sym(char *);
struct cell *tokenize(struct cell *head, char *fullstring, int32_t size) {
  int32_t c;
  int32_t i = 0;
  bool done = false;
  if ((0 >= size) || (0 == fullstring[0])) {
    return head;
  }
  char *store = calloc(255 + 1, sizeof(char));
  do {
    c = fullstring[i];
    if ((i > size) || (255 <= i)) {
      done = true;
    } else {
      if ((' ' == c) || ('\t' == c) || ('\n' == c) | ('\r' == c)) {
        i = i + 1;
        done = true;
      } else {
        store[i] = c;
        i = i + 1;
      }
    }
  } while (!done);
  if (i > 1) {
    head = append_Cell(head, make_sym(store));
  } else {
    free(store);
  }
  head = tokenize(head, (fullstring + i), (size - i));
  return head;
}


x86 assembly (clang, -O0):
<tokenize>:
push   %rbp
mov    %rsp,%rbp
sub    $0x50,%rsp
mov    %rdi,-0x10(%rbp)
mov    %rsi,-0x18(%rbp)
mov    %rdx,-0x20(%rbp)
movq   $0x0,-0x30(%rbp)
movl   $0x0,-0x34(%rbp)
xor    %eax,%eax
cmp    -0x20(%rbp),%rax
jae    1190 <tokenize+0x40>
mov    -0x18(%rbp),%rax
movsbl (%rax),%ecx
xor    %eax,%eax
cmp    %ecx,%eax
jne    119d <tokenize+0x4d>
mov    -0x10(%rbp),%rax
mov    %rax,-0x8(%rbp)
jmp    12e4 <tokenize+0x194>
mov    $0x100,%edi
mov    $0x1,%esi
call   1060 <calloc@plt>
mov    %rax,-0x40(%rbp)
mov    -0x18(%rbp),%rax
mov    -0x30(%rbp),%rcx
movsbq (%rax,%rcx,1),%rax
mov    %rax,-0x28(%rbp)
mov    -0x30(%rbp),%rax
cmp    -0x20(%rbp),%rax
ja     11de <tokenize+0x8e>
mov    $0xff,%eax
cmp    -0x30(%rbp),%rax
ja     11ea <tokenize+0x9a>
movl   $0x1,-0x34(%rbp)
jmp    1270 <tokenize+0x120>
mov    $0x20,%eax
cmp    -0x28(%rbp),%rax
je     1236 <tokenize+0xe6>
mov    $0x9,%eax
cmp    -0x28(%rbp),%rax
je     1236 <tokenize+0xe6>
mov    $0xa,%eax
cmp    -0x28(%rbp),%rax
sete   %al
and    $0x1,%al
movzbl %al,%eax
mov    $0xd,%ecx
cmp    -0x28(%rbp),%rcx
sete   %cl
and    $0x1,%cl
movzbl %cl,%ecx
or     %ecx,%eax
cmp    $0x0,%eax
je     124e <tokenize+0xfe>
mov    -0x30(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x30(%rbp)
movl   $0x1,-0x34(%rbp)
jmp    126b <tokenize+0x11b>
mov    -0x28(%rbp),%rax
mov    %al,%dl
mov    -0x40(%rbp),%rax
mov    -0x30(%rbp),%rcx
mov    %dl,(%rax,%rcx,1)
mov    -0x30(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x30(%rbp)
jmp    1270 <tokenize+0x120>
jmp    1275 <tokenize+0x125>
cmpl   $0x0,-0x34(%rbp)
setne  %al
xor    $0xff,%al
test   $0x1,%al
jne    11b0 <tokenize+0x60>
cmpq   $0x1,-0x30(%rbp)
jbe    12b6 <tokenize+0x166>
mov    -0x10(%rbp),%rax
mov    %rax,-0x48(%rbp)
mov    -0x40(%rbp),%rdi
call   1050 <make_sym@plt>
mov    -0x48(%rbp),%rdi
mov    %eax,%esi
call   1040 <append_Cell@plt>
mov    %rax,-0x10(%rbp)
jmp    12bf <tokenize+0x16f>
mov    -0x40(%rbp),%rdi
call   1030 <free@plt>
mov    -0x10(%rbp),%rdi
mov    -0x18(%rbp),%rsi
add    -0x30(%rbp),%rsi
mov    -0x20(%rbp),%rdx
sub    -0x30(%rbp),%rdx
call   1070 <tokenize@plt>
mov    %rax,-0x10(%rbp)
mov    -0x10(%rbp),%rax
mov    %rax,-0x8(%rbp)
mov    -0x8(%rbp),%rax
add    $0x50,%rsp
pop    %rbp
ret

x86 assembly (clang, -O2):
<tokenize>:
push   %r15
push   %r14
push   %r13
push   %r12
push   %rbx
mov    %rdi,%r14
test   %rdx,%rdx
je     1203 <tokenize+0xc3>
mov    %rdx,%r15
mov    %rsi,%r13
movabs $0x100002600,%r12
jmp    1181 <tokenize+0x41>
nopw   0x0(%rax,%rax,1)
call   1030 <free@plt>
add    %rbx,%r13
sub    %rbx,%r15
je     1203 <tokenize+0xc3>
mov    0x0(%r13),%bl
test   %bl,%bl
je     1203 <tokenize+0xc3>
mov    $0x100,%edi
mov    $0x1,%esi
call   1060 <calloc@plt>
cmp    $0xfe,%r15
mov    $0xfe,%edx
cmovb  %r15,%rdx
xor    %ecx,%ecx
cmp    $0x20,%bl
ja     11b9 <tokenize+0x79>
nop
movzbl %bl,%esi
bt     %rsi,%r12
jb     11e0 <tokenize+0xa0>
mov    %bl,(%rax,%rcx,1)
cmp    %rcx,%rdx
je     11d2 <tokenize+0x92>
movzbl 0x1(%r13,%rcx,1),%ebx
add    $0x1,%rcx
cmp    $0x20,%bl
jbe    11b0 <tokenize+0x70>
jmp    11b9 <tokenize+0x79>
mov    %rdx,%rcx
cs nopw 0x0(%rax,%rax,1)
nop
lea    0x1(%rcx),%rbx
mov    %rax,%rdi
test   %rcx,%rcx
je     1170 <tokenize+0x30>
call   1050 <make_sym@plt>
mov    %r14,%rdi
mov    %eax,%esi
call   1040 <append_Cell@plt>
mov    %rax,%r14
jmp    1175 <tokenize+0x35>
mov    %r14,%rax
pop    %rbx
pop    %r12
pop    %r13
pop    %r14
pop    %r15
ret

LLVM IR (-O0):
%struct.cell = type { i32 }
define %struct.cell* @tokenize(%struct.cell* %0, i8* %1, i64 %2) {
%4 = alloca %struct.cell*
%5 = alloca %struct.cell*
%6 = alloca i8*
%7 = alloca i64
%8 = alloca i64
%9 = alloca i64
%10 = alloca i32
%11 = alloca i8*
store %struct.cell* %0, %struct.cell** %5
store i8* %1, i8** %6
store i64 %2, i64* %7
store i64 0, i64* %9
store i32 0, i32* %10
%12 = load i64, i64* %7
%13 = icmp uge i64 0, %12
br i1 %13, label %20, label %14
14: ; preds = %3
%15 = load i8*, i8** %6
%16 = getelementptr inbounds i8, i8* %15, i64 0
%17 = load i8, i8* %16
%18 = sext i8 %17 to i32
%19 = icmp eq i32 0, %18
br i1 %19, label %20, label %22
20: ; preds = %14, %3
%21 = load %struct.cell*, %struct.cell** %5
store %struct.cell* %21, %struct.cell** %4
br label %90
22: ; preds = %14
%23 = call i8* @calloc(i32 256, i32 1)
store i8* %23, i8** %11
br label %24
24: ; preds = %65, %22
%25 = load i8*, i8** %6
%26 = load i64, i64* %9
%27 = getelementptr inbounds i8, i8* %25, i64 %26
%28 = load i8, i8* %27
%29 = sext i8 %28 to i64
store i64 %29, i64* %8
%30 = load i64, i64* %9
%31 = load i64, i64* %7
%32 = icmp ugt i64 %30, %31
br i1 %32, label %36, label %33
33: ; preds = %24
%34 = load i64, i64* %9
%35 = icmp ule i64 255, %34
br i1 %35, label %36, label %37
36: ; preds = %33, %24
store i32 1, i32* %10
br label %64
37: ; preds = %33
%38 = load i64, i64* %8
%39 = icmp eq i64 32, %38
br i1 %39, label %52, label %40
40: ; preds = %37
%41 = load i64, i64* %8
%42 = icmp eq i64 9, %41
br i1 %42, label %52, label %43
43: ; preds = %40
%44 = load i64, i64* %8
%45 = icmp eq i64 10, %44
%46 = zext i1 %45 to i32
%47 = load i64, i64* %8
%48 = icmp eq i64 13, %47
%49 = zext i1 %48 to i32
%50 = or i32 %46, %49
%51 = icmp ne i32 %50, 0
br i1 %51, label %52, label %55
52: ; preds = %43, %40, %37
%53 = load i64, i64* %9
%54 = add i64 %53, 1
store i64 %54, i64* %9
store i32 1, i32* %10
br label %63
55: ; preds = %43
%56 = load i64, i64* %8
%57 = trunc i64 %56 to i8
%58 = load i8*, i8** %11
%59 = load i64, i64* %9
%60 = getelementptr inbounds i8, i8* %58, i64 %59
store i8 %57, i8* %60
%61 = load i64, i64* %9
%62 = add i64 %61, 1
store i64 %62, i64* %9
br label %63
63: ; preds = %55, %52
br label %64
64: ; preds = %63, %36
br label %65
65: ; preds = %64
%66 = load i32, i32* %10
%67 = icmp ne i32 %66, 0
%68 = xor i1 %67, true
br i1 %68, label %24, label %69
69: ; preds = %65
%70 = load i64, i64* %9
%71 = icmp ugt i64 %70, 1
br i1 %71, label %72, label %77
72: ; preds = %69
%73 = load %struct.cell*, %struct.cell** %5
%74 = load i8*, i8** %11
%75 = call i32 @make_sym(i8* %74)
%76 = call %struct.cell* @append_Cell(%struct.cell* %73, i32 %75)
store %struct.cell* %76, %struct.cell** %5
br label %80
77: ; preds = %69
%78 = load i8*, i8** %11
%79 = call i32 @free(i8* %78)
br label %80
80: ; preds = %77, %72
%81 = load %struct.cell*, %struct.cell** %5
%82 = load i8*, i8** %6
%83 = load i64, i64* %9
%84 = getelementptr inbounds i8, i8* %82, i64 %83
%85 = load i64, i64* %7
%86 = load i64, i64* %9
%87 = sub i64 %85, %86
%88 = call %struct.cell* @tokenize(%struct.cell* %81, i8* %84, i64 %87)
store %struct.cell* %88, %struct.cell** %5
%89 = load %struct.cell*, %struct.cell** %5
store %struct.cell* %89, %struct.cell** %4
br label %90
90: ; preds = %80, %20
%91 = load %struct.cell*, %struct.cell** %4
ret %struct.cell* %91
}

LLVM IR (-O2):
%struct.cell = type { i32 }
define %struct.cell* @tokenize(%struct.cell* %0, i8* nocapture %1, i64 %2) {
%4 = icmp eq i64 %2, 0
br i1 %4, label %38, label %5
5: ; preds = %3, %33
%6 = phi i64 [ %36, %33 ], [ %2, %3 ]
%7 = phi i8* [ %35, %33 ], [ %1, %3 ]
%8 = phi %struct.cell* [ %34, %33 ], [ %0, %3 ]
%9 = load i8, i8* %7
%10 = icmp eq i8 %9, 0
br i1 %10, label %38, label %11
11: ; preds = %5
%12 = tail call dereferenceable_or_null(256) i8* @calloc(i32 256, i32 1)
%13 = call i64 @llvm.umin.i64(i64 %6, i64 254)
br label %14
14: ; preds = %21, %11
%15 = phi i8 [ %9, %11 ], [ %23, %21 ]
%16 = phi i64 [ 0, %11 ], [ %19, %21 ]
switch i8 %15, label %17 [
i8 32, label %24
i8 9, label %24
i8 13, label %24
i8 10, label %24
]
17: ; preds = %14
%18 = getelementptr inbounds i8, i8* %12, i64 %16
store i8 %15, i8* %18
%19 = add nuw nsw i64 %16, 1
%20 = icmp eq i64 %16, %13
br i1 %20, label %24, label %21
21: ; preds = %17
%22 = getelementptr inbounds i8, i8* %7, i64 %19
%23 = load i8, i8* %22
br label %14
24: ; preds = %17, %14, %14, %14, %14
%25 = phi i64 [ %16, %14 ], [ %16, %14 ], [ %16, %14 ], [ %16, %14 ], [ %13, %17 ]
%26 = add nuw nsw i64 %25, 1
%27 = icmp eq i64 %25, 0
br i1 %27, label %31, label %28
28: ; preds = %24
%29 = tail call i32 @make_sym(i8* %12)
%30 = tail call %struct.cell* @append_Cell(%struct.cell* %8, i32 %29)
br label %33
31: ; preds = %24
%32 = tail call i32 @free(i8* %12)
br label %33
33: ; preds = %31, %28
%34 = phi %struct.cell* [ %30, %28 ], [ %8, %31 ]
%35 = getelementptr inbounds i8, i8* %7, i64 %26
%36 = sub i64 %6, %26
%37 = icmp eq i64 %36, 0
br i1 %37, label %38, label %5
38: ; preds = %5, %33, %3
%39 = phi %struct.cell* [ %0, %3 ], [ %34, %33 ], [ %8, %5 ]
ret %struct.cell* %39
}