#define NULL ((void *)0)
typedef unsigned long size_t; // Customize by platform.
typedef long intptr_t;
typedef unsigned long uintptr_t;
typedef long scalar_t__; // Either arithmetic or pointer type.
/* By default, we understand bool (as a convenience). */
typedef int bool;
#define false 0
#define true 1

/* Forward declarations */

/* Type definitions */
struct tst_expr_tok {
  int dummy;
};

/* Variables and functions */
scalar_t__ new_tok(struct tst_expr_tok **, char const *, size_t);
unsigned int tokenize(const char *expr, struct tst_expr_tok *last) {
  size_t i, j;
  unsigned int token_cnt = 0;
  for (j = i = 0; expr[i]; i++) {
    switch (expr[i]) {
    case '(':
    case ')':
    case '!':
    case '&':
    case '|':
      token_cnt += new_tok(&last, &expr[j], i - j);
      token_cnt += new_tok(&last, &expr[i], 1);
      j = i + 1;
      break;
    case '\t':
    case ' ':
      token_cnt += new_tok(&last, &expr[j], i - j);
      j = i + 1;
      break;
    case '"':
      while (expr[i + 1] != '"' && expr[i + 1])
        i++;
      if (expr[i + 1] == '"')
        i++;
      break;
    default:
      break;
    }
  }
  token_cnt += new_tok(&last, &expr[j], i - j);
  return token_cnt;
}


x86 assembly (clang, -O0):
<tokenize>:
push   %rbp
mov    %rsp,%rbp
sub    $0x30,%rsp
mov    %rdi,-0x8(%rbp)
mov    %rsi,-0x10(%rbp)
movl   $0x0,-0x24(%rbp)
movq   $0x0,-0x18(%rbp)
movq   $0x0,-0x20(%rbp)
mov    -0x8(%rbp),%rax
mov    -0x18(%rbp),%rcx
cmpb   $0x0,(%rax,%rcx,1)
je     12f6 <tokenize+0x1e6>
mov    -0x8(%rbp),%rax
mov    -0x18(%rbp),%rcx
movsbl (%rax,%rcx,1),%eax
mov    %eax,-0x28(%rbp)
sub    $0x9,%eax
je     1227 <tokenize+0x117>
jmp    1166 <tokenize+0x56>
mov    -0x28(%rbp),%eax
sub    $0x20,%eax
je     1227 <tokenize+0x117>
jmp    1177 <tokenize+0x67>
mov    -0x28(%rbp),%eax
sub    $0x21,%eax
je     11cf <tokenize+0xbf>
jmp    1188 <tokenize+0x78>
mov    -0x28(%rbp),%eax
sub    $0x22,%eax
je     125d <tokenize+0x14d>
jmp    1199 <tokenize+0x89>
mov    -0x28(%rbp),%eax
sub    $0x26,%eax
je     11cf <tokenize+0xbf>
jmp    11aa <tokenize+0x9a>
mov    -0x28(%rbp),%eax
add    $0xffffffd8,%eax
sub    $0x2,%eax
jb     11cf <tokenize+0xbf>
jmp    11be <tokenize+0xae>
mov    -0x28(%rbp),%eax
sub    $0x7c,%eax
jne    12db <tokenize+0x1cb>
jmp    11cf <tokenize+0xbf>
mov    -0x8(%rbp),%rsi
add    -0x20(%rbp),%rsi
mov    -0x18(%rbp),%rdx
sub    -0x20(%rbp),%rdx
lea    -0x10(%rbp),%rdi
call   1030 <new_tok@plt>
mov    %rax,%rcx
mov    -0x24(%rbp),%eax
add    %rcx,%rax
mov    %eax,-0x24(%rbp)
mov    -0x8(%rbp),%rsi
add    -0x18(%rbp),%rsi
lea    -0x10(%rbp),%rdi
mov    $0x1,%edx
call   1030 <new_tok@plt>
mov    %rax,%rcx
mov    -0x24(%rbp),%eax
add    %rcx,%rax
mov    %eax,-0x24(%rbp)
mov    -0x18(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x20(%rbp)
jmp    12e0 <tokenize+0x1d0>
mov    -0x8(%rbp),%rsi
add    -0x20(%rbp),%rsi
mov    -0x18(%rbp),%rdx
sub    -0x20(%rbp),%rdx
lea    -0x10(%rbp),%rdi
call   1030 <new_tok@plt>
mov    %rax,%rcx
mov    -0x24(%rbp),%eax
add    %rcx,%rax
mov    %eax,-0x24(%rbp)
mov    -0x18(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x20(%rbp)
jmp    12e0 <tokenize+0x1d0>
jmp    1262 <tokenize+0x152>
mov    -0x8(%rbp),%rax
mov    -0x18(%rbp),%rcx
movsbl 0x1(%rax,%rcx,1),%ecx
xor    %eax,%eax
cmp    $0x22,%ecx
mov    %al,-0x29(%rbp)
je     1293 <tokenize+0x183>
mov    -0x8(%rbp),%rax
mov    -0x18(%rbp),%rcx
movsbl 0x1(%rax,%rcx,1),%eax
cmp    $0x0,%eax
setne  %al
mov    %al,-0x29(%rbp)
mov    -0x29(%rbp),%al
test   $0x1,%al
jne    12a3 <tokenize+0x193>
jmp    12b4 <tokenize+0x1a4>
mov    -0x18(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x18(%rbp)
jmp    1262 <tokenize+0x152>
mov    -0x8(%rbp),%rax
mov    -0x18(%rbp),%rcx
movsbl 0x1(%rax,%rcx,1),%eax
cmp    $0x22,%eax
jne    12d6 <tokenize+0x1c6>
mov    -0x18(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x18(%rbp)
jmp    12e0 <tokenize+0x1d0>
jmp    12e0 <tokenize+0x1d0>
jmp    12e5 <tokenize+0x1d5>
mov    -0x18(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x18(%rbp)
jmp    1137 <tokenize+0x27>
mov    -0x8(%rbp),%rsi
add    -0x20(%rbp),%rsi
mov    -0x18(%rbp),%rdx
sub    -0x20(%rbp),%rdx
lea    -0x10(%rbp),%rdi
call   1030 <new_tok@plt>
mov    %rax,%rcx
mov    -0x24(%rbp),%eax
add    %rcx,%rax
mov    %eax,-0x24(%rbp)
mov    -0x24(%rbp),%eax
add    $0x30,%rsp
pop    %rbp
ret

x86 assembly (clang, -O2):
<tokenize>:
push   %rbp
push   %r15
push   %r14
push   %r13
push   %r12
push   %rbx
push   %rax
mov    %rdi,%r15
mov    %rsi,(%rsp)
mov    (%rdi),%al
test   %al,%al
je     120e <tokenize+0xfe>
xor    %r12d,%r12d
mov    %rsp,%r14
movabs $0x34200000000,%r13
mov    %r15,%rbx
xor    %ecx,%ecx
xor    %ebp,%ebp
jmp    1197 <tokenize+0x87>
cs nopw 0x0(%rax,%rax,1)
nop
lea    (%r15,%rcx,1),%rsi
mov    %rbp,%rdx
sub    %rcx,%rdx
mov    %r14,%rdi
call   1030 <new_tok@plt>
add    %eax,%r12d
mov    $0x1,%edx
mov    %r14,%rdi
mov    %rbx,%rsi
call   1030 <new_tok@plt>
add    %r12d,%eax
lea    0x1(%rbp),%rcx
mov    %eax,%r12d
lea    0x1(%rbp),%rdx
lea    (%r15,%rbp,1),%rbx
add    $0x1,%rbx
mov    0x1(%r15,%rbp,1),%al
mov    %rdx,%rbp
test   %al,%al
je     1215 <tokenize+0x105>
movsbl %al,%eax
cmp    $0x29,%eax
ja     1200 <tokenize+0xf0>
bt     %rax,%r13
jb     1150 <tokenize+0x40>
movabs $0x100000200,%rdx
bt     %rax,%rdx
jae    11d0 <tokenize+0xc0>
lea    (%r15,%rcx,1),%rsi
mov    %rbp,%rdx
sub    %rcx,%rdx
mov    %r14,%rdi
call   1030 <new_tok@plt>
add    %eax,%r12d
lea    0x1(%rbp),%rcx
jmp    117f <tokenize+0x6f>
cmp    $0x22,%rax
jne    1200 <tokenize+0xf0>
cs nopw 0x0(%rax,%rax,1)
movzbl 0x1(%r15,%rbp,1),%eax
add    $0x1,%rbp
cmp    $0x22,%al
je     11f2 <tokenize+0xe2>
test   %al,%al
jne    11e0 <tokenize+0xd0>
lea    -0x1(%rbp),%rdx
cmp    $0x22,%al
cmovne %rdx,%rbp
jmp    117f <tokenize+0x6f>
xchg   %ax,%ax
cmp    $0x7c,%eax
je     1150 <tokenize+0x40>
jmp    117f <tokenize+0x6f>
xor    %edx,%edx
xor    %ecx,%ecx
xor    %r12d,%r12d
add    %rcx,%r15
sub    %rcx,%rdx
mov    %rsp,%rdi
mov    %r15,%rsi
call   1030 <new_tok@plt>
add    %r12d,%eax
add    $0x8,%rsp
pop    %rbx
pop    %r12
pop    %r13
pop    %r14
pop    %r15
pop    %rbp
ret

LLVM IR (-O0):
%struct.tst_expr_tok = type { i32 }
define i32 @tokenize(i8* %0, %struct.tst_expr_tok* %1) {
%3 = alloca i8*
%4 = alloca %struct.tst_expr_tok*
%5 = alloca i64
%6 = alloca i64
%7 = alloca i32
store i8* %0, i8** %3
store %struct.tst_expr_tok* %1, %struct.tst_expr_tok** %4
store i32 0, i32* %7
store i64 0, i64* %5
store i64 0, i64* %6
br label %8
8: ; preds = %92, %2
%9 = load i8*, i8** %3
%10 = load i64, i64* %5
%11 = getelementptr inbounds i8, i8* %9, i64 %10
%12 = load i8, i8* %11
%13 = icmp ne i8 %12, 0
br i1 %13, label %14, label %95
14: ; preds = %8
%15 = load i8*, i8** %3
%16 = load i64, i64* %5
%17 = getelementptr inbounds i8, i8* %15, i64 %16
%18 = load i8, i8* %17
%19 = sext i8 %18 to i32
switch i32 %19, label %90 [
i32 40, label %20
i32 41, label %20
i32 33, label %20
i32 38, label %20
i32 124, label %20
i32 9, label %42
i32 32, label %42
i32 34, label %56
]
20: ; preds = %14, %14, %14, %14, %14
%21 = load i8*, i8** %3
%22 = load i64, i64* %6
%23 = getelementptr inbounds i8, i8* %21, i64 %22
%24 = load i64, i64* %5
%25 = load i64, i64* %6
%26 = sub i64 %24, %25
%27 = call i64 @new_tok(%struct.tst_expr_tok** %4, i8* %23, i64 %26)
%28 = load i32, i32* %7
%29 = zext i32 %28 to i64
%30 = add nsw i64 %29, %27
%31 = trunc i64 %30 to i32
store i32 %31, i32* %7
%32 = load i8*, i8** %3
%33 = load i64, i64* %5
%34 = getelementptr inbounds i8, i8* %32, i64 %33
%35 = call i64 @new_tok(%struct.tst_expr_tok** %4, i8* %34, i64 1)
%36 = load i32, i32* %7
%37 = zext i32 %36 to i64
%38 = add nsw i64 %37, %35
%39 = trunc i64 %38 to i32
store i32 %39, i32* %7
%40 = load i64, i64* %5
%41 = add i64 %40, 1
store i64 %41, i64* %6
br label %91
42: ; preds = %14, %14
%43 = load i8*, i8** %3
%44 = load i64, i64* %6
%45 = getelementptr inbounds i8, i8* %43, i64 %44
%46 = load i64, i64* %5
%47 = load i64, i64* %6
%48 = sub i64 %46, %47
%49 = call i64 @new_tok(%struct.tst_expr_tok** %4, i8* %45, i64 %48)
%50 = load i32, i32* %7
%51 = zext i32 %50 to i64
%52 = add nsw i64 %51, %49
%53 = trunc i64 %52 to i32
store i32 %53, i32* %7
%54 = load i64, i64* %5
%55 = add i64 %54, 1
store i64 %55, i64* %6
br label %91
56: ; preds = %14
br label %57
57: ; preds = %75, %56
%58 = load i8*, i8** %3
%59 = load i64, i64* %5
%60 = add i64 %59, 1
%61 = getelementptr inbounds i8, i8* %58, i64 %60
%62 = load i8, i8* %61
%63 = sext i8 %62 to i32
%64 = icmp ne i32 %63, 34
br i1 %64, label %65, label %73
65: ; preds = %57
%66 = load i8*, i8** %3
%67 = load i64, i64* %5
%68 = add i64 %67, 1
%69 = getelementptr inbounds i8, i8* %66, i64 %68
%70 = load i8, i8* %69
%71 = sext i8 %70 to i32
%72 = icmp ne i32 %71, 0
br label %73
73: ; preds = %65, %57
%74 = phi i1 [ false, %57 ], [ %72, %65 ]
br i1 %74, label %75, label %78
75: ; preds = %73
%76 = load i64, i64* %5
%77 = add i64 %76, 1
store i64 %77, i64* %5
br label %57
78: ; preds = %73
%79 = load i8*, i8** %3
%80 = load i64, i64* %5
%81 = add i64 %80, 1
%82 = getelementptr inbounds i8, i8* %79, i64 %81
%83 = load i8, i8* %82
%84 = sext i8 %83 to i32
%85 = icmp eq i32 %84, 34
br i1 %85, label %86, label %89
86: ; preds = %78
%87 = load i64, i64* %5
%88 = add i64 %87, 1
store i64 %88, i64* %5
br label %89
89: ; preds = %86, %78
br label %91
90: ; preds = %14
br label %91
91: ; preds = %90, %89, %42, %20
br label %92
92: ; preds = %91
%93 = load i64, i64* %5
%94 = add i64 %93, 1
store i64 %94, i64* %5
br label %8
95: ; preds = %8
%96 = load i8*, i8** %3
%97 = load i64, i64* %6
%98 = getelementptr inbounds i8, i8* %96, i64 %97
%99 = load i64, i64* %5
%100 = load i64, i64* %6
%101 = sub i64 %99, %100
%102 = call i64 @new_tok(%struct.tst_expr_tok** %4, i8* %98, i64 %101)
%103 = load i32, i32* %7
%104 = zext i32 %103 to i64
%105 = add nsw i64 %104, %102
%106 = trunc i64 %105 to i32
store i32 %106, i32* %7
%107 = load i32, i32* %7
ret i32 %107
}

LLVM IR (-O2):
%struct.tst_expr_tok = type { i32 }
define i32 @tokenize(i8* %0, %struct.tst_expr_tok* %1) {
%3 = alloca %struct.tst_expr_tok*
store %struct.tst_expr_tok* %1, %struct.tst_expr_tok** %3
%4 = load i8, i8* %0
%5 = icmp eq i8 %4, 0
br i1 %5, label %46, label %6
6: ; preds = %2, %38
%7 = phi i8 [ %44, %38 ], [ %4, %2 ]
%8 = phi i8* [ %43, %38 ], [ %0, %2 ]
%9 = phi i32 [ %41, %38 ], [ 0, %2 ]
%10 = phi i64 [ %40, %38 ], [ 0, %2 ]
%11 = phi i64 [ %42, %38 ], [ 0, %2 ]
%12 = sext i8 %7 to i32
switch i32 %12, label %38 [
i32 40, label %13
i32 41, label %13
i32 33, label %13
i32 38, label %13
i32 124, label %13
i32 9, label %23
i32 32, label %23
i32 34, label %30
]
13: ; preds = %6, %6, %6, %6, %6
%14 = getelementptr inbounds i8, i8* %0, i64 %10
%15 = sub i64 %11, %10
%16 = call i64 @new_tok(%struct.tst_expr_tok** %3, i8* %14, i64 %15)
%17 = trunc i64 %16 to i32
%18 = add i32 %9, %17
%19 = call i64 @new_tok(%struct.tst_expr_tok** %3, i8* %8, i64 1)
%20 = trunc i64 %19 to i32
%21 = add i32 %18, %20
%22 = add i64 %11, 1
br label %38
23: ; preds = %6, %6
%24 = getelementptr inbounds i8, i8* %0, i64 %10
%25 = sub i64 %11, %10
%26 = call i64 @new_tok(%struct.tst_expr_tok** %3, i8* %24, i64 %25)
%27 = trunc i64 %26 to i32
%28 = add i32 %9, %27
%29 = add i64 %11, 1
br label %38
30: ; preds = %6, %30
%31 = phi i64 [ %32, %30 ], [ %11, %6 ]
%32 = add i64 %31, 1
%33 = getelementptr inbounds i8, i8* %0, i64 %32
%34 = load i8, i8* %33
switch i8 %34, label %30 [
i8 34, label %35
i8 0, label %35
]
35: ; preds = %30, %30
%36 = icmp eq i8 %34, 34
%37 = select i1 %36, i64 %32, i64 %31
br label %38
38: ; preds = %35, %13, %23, %6
%39 = phi i64 [ %11, %6 ], [ %11, %23 ], [ %11, %13 ], [ %37, %35 ]
%40 = phi i64 [ %10, %6 ], [ %29, %23 ], [ %22, %13 ], [ %10, %35 ]
%41 = phi i32 [ %9, %6 ], [ %28, %23 ], [ %21, %13 ], [ %9, %35 ]
%42 = add i64 %39, 1
%43 = getelementptr inbounds i8, i8* %0, i64 %42
%44 = load i8, i8* %43
%45 = icmp eq i8 %44, 0
br i1 %45, label %46, label %6
46: ; preds = %38, %2
%47 = phi i64 [ 0, %2 ], [ %42, %38 ]
%48 = phi i64 [ 0, %2 ], [ %40, %38 ]
%49 = phi i32 [ 0, %2 ], [ %41, %38 ]
%50 = getelementptr inbounds i8, i8* %0, i64 %48
%51 = sub i64 %47, %48
%52 = call i64 @new_tok(%struct.tst_expr_tok** %3, i8* %50, i64 %51)
%53 = trunc i64 %52 to i32
%54 = add i32 %49, %53
ret i32 %54
}