#define NULL ((void *)0)
typedef unsigned long size_t; // Customize by platform.
typedef long intptr_t;
typedef unsigned long uintptr_t;
typedef long scalar_t__; // Either arithmetic or pointer type.
/* By default, we understand bool (as a convenience). */
typedef int bool;
#define false 0
#define true 1

/* Forward declarations */

/* Type definitions */
struct toktable {
  int dummy;
};

/* Variables and functions */
int /*<<< orphan*/ add_token_in_file(int, unsigned int, char *,
                                     struct toktable *);
scalar_t__ char_valid_p(char, int);
void tokenise_string(int file_index, unsigned int hash_key,
                     struct toktable *table, char *data, int match_mask) {
  char *ss, *es, old_es;
  ss = data;
  for (;;) {
    while (*ss && !char_valid_p(*ss, match_mask))
      ss++;
    if (!*ss)
      break;
    es = ss + 1;
    while (*es && char_valid_p(*es, match_mask))
      es++;
    old_es = *es;
    *es = '\0';
    add_token_in_file(file_index, hash_key, ss, table);
    *es = old_es;
    if (!*es)
      break;
    ss = es;
  }
}


x86 assembly (clang, -O0):
<tokenise_string>:
push   %rbp
mov    %rsp,%rbp
sub    $0x40,%rsp
mov    %edi,-0x4(%rbp)
mov    %esi,-0x8(%rbp)
mov    %rdx,-0x10(%rbp)
mov    %rcx,-0x18(%rbp)
mov    %r8d,-0x1c(%rbp)
mov    -0x18(%rbp),%rax
mov    %rax,-0x28(%rbp)
jmp    1147 <tokenise_string+0x27>
mov    -0x28(%rbp),%rax
movsbl (%rax),%ecx
xor    %eax,%eax
cmp    $0x0,%ecx
mov    %al,-0x32(%rbp)
je     1179 <tokenise_string+0x59>
mov    -0x28(%rbp),%rax
mov    (%rax),%al
mov    -0x1c(%rbp),%esi
movsbl %al,%edi
call   1030 <char_valid_p@plt>
cmp    $0x0,%rax
setne  %al
xor    $0xff,%al
mov    %al,-0x32(%rbp)
mov    -0x32(%rbp),%al
test   $0x1,%al
jne    1189 <tokenise_string+0x69>
jmp    119a <tokenise_string+0x7a>
mov    -0x28(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x28(%rbp)
jmp    1147 <tokenise_string+0x27>
mov    -0x28(%rbp),%rax
cmpb   $0x0,(%rax)
jne    11ac <tokenise_string+0x8c>
jmp    1254 <tokenise_string+0x134>
mov    -0x28(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x30(%rbp)
mov    -0x30(%rbp),%rax
movsbl (%rax),%ecx
xor    %eax,%eax
cmp    $0x0,%ecx
mov    %al,-0x33(%rbp)
je     11e8 <tokenise_string+0xc8>
mov    -0x30(%rbp),%rax
mov    (%rax),%al
mov    -0x1c(%rbp),%esi
movsbl %al,%edi
call   1030 <char_valid_p@plt>
cmp    $0x0,%rax
setne  %al
mov    %al,-0x33(%rbp)
mov    -0x33(%rbp),%al
test   $0x1,%al
jne    11f8 <tokenise_string+0xd8>
jmp    1209 <tokenise_string+0xe9>
mov    -0x30(%rbp),%rax
add    $0x1,%rax
mov    %rax,-0x30(%rbp)
jmp    11b8 <tokenise_string+0x98>
mov    -0x30(%rbp),%rax
mov    (%rax),%al
mov    %al,-0x31(%rbp)
mov    -0x30(%rbp),%rax
movb   $0x0,(%rax)
mov    -0x4(%rbp),%edi
mov    -0x8(%rbp),%esi
mov    -0x28(%rbp),%rdx
mov    -0x10(%rbp),%rcx
call   1040 <add_token_in_file@plt>
mov    -0x31(%rbp),%cl
mov    -0x30(%rbp),%rax
mov    %cl,(%rax)
mov    -0x30(%rbp),%rax
cmpb   $0x0,(%rax)
jne    1247 <tokenise_string+0x127>
jmp    1254 <tokenise_string+0x134>
mov    -0x30(%rbp),%rax
mov    %rax,-0x28(%rbp)
jmp    1142 <tokenise_string+0x22>
add    $0x40,%rsp
pop    %rbp
ret

x86 assembly (clang, -O2):
<tokenise_string>:
push   %rbp
push   %r15
push   %r14
push   %r13
push   %r12
push   %rbx
sub    $0x18,%rsp
mov    %r8d,%r13d
mov    %rcx,%r15
mov    %rdx,0x10(%rsp)
mov    %esi,0xc(%rsp)
mov    %edi,%r12d
mov    (%rcx),%r14b
test   %r14b,%r14b
je     11f7 <tokenise_string+0xd7>
lea    0x1(%r15),%rbx
mov    %r15,%rbp
cs nopw 0x0(%rax,%rax,1)
nopl   (%rax)
movsbl %r14b,%edi
mov    %r13d,%esi
call   1030 <char_valid_p@plt>
test   %rax,%rax
jne    1190 <tokenise_string+0x70>
movzbl 0x1(%rbp),%r14d
add    $0x1,%rbp
add    $0x1,%rbx
test   %r14b,%r14b
jne    1160 <tokenise_string+0x40>
jmp    11f7 <tokenise_string+0xd7>
cs nopw 0x0(%rax,%rax,1)
nop
cmpb   $0x0,0x0(%rbp)
je     11f7 <tokenise_string+0xd7>
cs nopw 0x0(%rax,%rax,1)
mov    %rbx,%r15
movzbl (%rbx),%eax
test   %al,%al
je     11d0 <tokenise_string+0xb0>
movsbl %al,%edi
mov    %r13d,%esi
call   1030 <char_valid_p@plt>
lea    0x1(%r15),%rbx
test   %rax,%rax
jne    11a0 <tokenise_string+0x80>
mov    -0x1(%rbx),%r14b
jmp    11d3 <tokenise_string+0xb3>
cs nopw 0x0(%rax,%rax,1)
xchg   %ax,%ax
xor    %r14d,%r14d
movb   $0x0,(%r15)
mov    %r12d,%edi
mov    0xc(%rsp),%esi
mov    %rbp,%rdx
mov    0x10(%rsp),%rcx
call   1040 <add_token_in_file@plt>
mov    %r14b,(%r15)
test   %r14b,%r14b
jne    1143 <tokenise_string+0x23>
add    $0x18,%rsp
pop    %rbx
pop    %r12
pop    %r13
pop    %r14
pop    %r15
pop    %rbp
ret

LLVM IR (-O0):
%struct.toktable = type { i32 }
define void @tokenise_string(i32 %0, i32 %1, %struct.toktable* %2, i8* %3, i32 %4) {
%6 = alloca i32
%7 = alloca i32
%8 = alloca %struct.toktable*
%9 = alloca i8*
%10 = alloca i32
%11 = alloca i8*
%12 = alloca i8*
%13 = alloca i8
store i32 %0, i32* %6
store i32 %1, i32* %7
store %struct.toktable* %2, %struct.toktable** %8
store i8* %3, i8** %9
store i32 %4, i32* %10
%14 = load i8*, i8** %9
store i8* %14, i8** %11
br label %15
15: ; preds = %72, %5
br label %16
16: ; preds = %30, %15
%17 = load i8*, i8** %11
%18 = load i8, i8* %17
%19 = sext i8 %18 to i32
%20 = icmp ne i32 %19, 0
br i1 %20, label %21, label %28
21: ; preds = %16
%22 = load i8*, i8** %11
%23 = load i8, i8* %22
%24 = load i32, i32* %10
%25 = call i64 @char_valid_p(i8 signext %23, i32 %24)
%26 = icmp ne i64 %25, 0
%27 = xor i1 %26, true
br label %28
28: ; preds = %21, %16
%29 = phi i1 [ false, %16 ], [ %27, %21 ]
br i1 %29, label %30, label %33
30: ; preds = %28
%31 = load i8*, i8** %11
%32 = getelementptr inbounds i8, i8* %31, i32 1
store i8* %32, i8** %11
br label %16
33: ; preds = %28
%34 = load i8*, i8** %11
%35 = load i8, i8* %34
%36 = icmp ne i8 %35, 0
br i1 %36, label %38, label %37
37: ; preds = %33
br label %74
38: ; preds = %33
%39 = load i8*, i8** %11
%40 = getelementptr inbounds i8, i8* %39, i64 1
store i8* %40, i8** %12
br label %41
41: ; preds = %54, %38
%42 = load i8*, i8** %12
%43 = load i8, i8* %42
%44 = sext i8 %43 to i32
%45 = icmp ne i32 %44, 0
br i1 %45, label %46, label %52
46: ; preds = %41
%47 = load i8*, i8** %12
%48 = load i8, i8* %47
%49 = load i32, i32* %10
%50 = call i64 @char_valid_p(i8 signext %48, i32 %49)
%51 = icmp ne i64 %50, 0
br label %52
52: ; preds = %46, %41
%53 = phi i1 [ false, %41 ], [ %51, %46 ]
br i1 %53, label %54, label %57
54: ; preds = %52
%55 = load i8*, i8** %12
%56 = getelementptr inbounds i8, i8* %55, i32 1
store i8* %56, i8** %12
br label %41
57: ; preds = %52
%58 = load i8*, i8** %12
%59 = load i8, i8* %58
store i8 %59, i8* %13
%60 = load i8*, i8** %12
store i8 0, i8* %60
%61 = load i32, i32* %6
%62 = load i32, i32* %7
%63 = load i8*, i8** %11
%64 = load %struct.toktable*, %struct.toktable** %8
%65 = call i32 @add_token_in_file(i32 %61, i32 %62, i8* %63, %struct.toktable* %64)
%66 = load i8, i8* %13
%67 = load i8*, i8** %12
store i8 %66, i8* %67
%68 = load i8*, i8** %12
%69 = load i8, i8* %68
%70 = icmp ne i8 %69, 0
br i1 %70, label %72, label %71
71: ; preds = %57
br label %74
72: ; preds = %57
%73 = load i8*, i8** %12
store i8* %73, i8** %11
br label %15
74: ; preds = %71, %37
ret void
}

LLVM IR (-O2):
%struct.toktable = type { i32 }
define void @tokenise_string(i32 %0, i32 %1, %struct.toktable* %2, i8* %3, i32 %4) {
%6 = load i8, i8* %3
br label %7
7: ; preds = %33, %5
%8 = phi i8 [ %6, %5 ], [ %34, %33 ]
%9 = phi i8* [ %3, %5 ], [ %25, %33 ]
%10 = icmp eq i8 %8, 0
br i1 %10, label %37, label %11
11: ; preds = %7, %16
%12 = phi i8 [ %18, %16 ], [ %8, %7 ]
%13 = phi i8* [ %17, %16 ], [ %9, %7 ]
%14 = tail call i64 @char_valid_p(i8 signext %12, i32 %4)
%15 = icmp eq i64 %14, 0
br i1 %15, label %16, label %20
16: ; preds = %11
%17 = getelementptr inbounds i8, i8* %13, i64 1
%18 = load i8, i8* %17
%19 = icmp eq i8 %18, 0
br i1 %19, label %37, label %11
20: ; preds = %11
%21 = load i8, i8* %13
%22 = icmp eq i8 %21, 0
br i1 %22, label %37, label %23
23: ; preds = %20, %28
%24 = phi i8* [ %25, %28 ], [ %13, %20 ]
%25 = getelementptr inbounds i8, i8* %24, i64 1
%26 = load i8, i8* %25
%27 = icmp eq i8 %26, 0
br i1 %27, label %33, label %28
28: ; preds = %23
%29 = tail call i64 @char_valid_p(i8 signext %26, i32 %4)
%30 = icmp eq i64 %29, 0
br i1 %30, label %31, label %23
31: ; preds = %28
%32 = load i8, i8* %25
br label %33
33: ; preds = %23, %31
%34 = phi i8 [ %32, %31 ], [ 0, %23 ]
store i8 0, i8* %25
%35 = tail call i32 @add_token_in_file(i32 %0, i32 %1, i8* %13, %struct.toktable* %2)
store i8 %34, i8* %25
%36 = icmp eq i8 %34, 0
br i1 %36, label %37, label %7
37: ; preds = %33, %20, %7, %16
ret void
}