int add_word_to_vocabulary(char *text, int start_pos, int end_pos, char *vocab,
                           float *frequency) {
  int index, i, c;
  int length = end_pos - start_pos;
  if (length >= 32 - 1)
    return 0;
  if ((text[start_pos] >= 'a') && (text[start_pos] <= 'z')) {
    index = (int)(text[start_pos] - 'a');
  } else {
    index = (int)(text[start_pos] - 'A');
  }
  if (index >= 26)
    return 0;
  i = 0;
  while (i < 640) {
    if (vocab[(((index)*640 * 32) + ((i)*32))] == 0)
      break;
    i++;
  }
  if (i < 640) {
    for (c = 0; c < length; c++) {
      vocab[(((index)*640 * 32) + ((i)*32)) + c] = tolower(text[start_pos + c]);
    }
    vocab[(((index)*640 * 32) + ((i)*32)) + c] = 0;
    frequency[(((index)*640) + (i))] = 1;
    return 1;
  }
  return 0;
}


x86 assembly (clang, -O0):
<add_word_to_vocabulary>:
push   %rbp
mov    %rsp,%rbp
sub    $0x40,%rsp
mov    %rdi,-0x10(%rbp)
mov    %esi,-0x14(%rbp)
mov    %edx,-0x18(%rbp)
mov    %rcx,-0x20(%rbp)
mov    %r8,-0x28(%rbp)
mov    -0x18(%rbp),%eax
sub    -0x14(%rbp),%eax
mov    %eax,-0x38(%rbp)
cmpl   $0x1f,-0x38(%rbp)
jl     1149 <add_word_to_vocabulary+0x39>
movl   $0x0,-0x4(%rbp)
jmp    12b5 <add_word_to_vocabulary+0x1a5>
mov    -0x10(%rbp),%rax
movslq -0x14(%rbp),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x61,%eax
jl     118a <add_word_to_vocabulary+0x7a>
mov    -0x10(%rbp),%rax
movslq -0x14(%rbp),%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x7a,%eax
jg     118a <add_word_to_vocabulary+0x7a>
mov    -0x10(%rbp),%rax
movslq -0x14(%rbp),%rcx
movsbl (%rax,%rcx,1),%eax
sub    $0x61,%eax
mov    %eax,-0x2c(%rbp)
jmp    119c <add_word_to_vocabulary+0x8c>
mov    -0x10(%rbp),%rax
movslq -0x14(%rbp),%rcx
movsbl (%rax,%rcx,1),%eax
sub    $0x41,%eax
mov    %eax,-0x2c(%rbp)
cmpl   $0x1a,-0x2c(%rbp)
jl     11b2 <add_word_to_vocabulary+0xa2>
movl   $0x0,-0x4(%rbp)
jmp    12b5 <add_word_to_vocabulary+0x1a5>
movl   $0x0,-0x30(%rbp)
cmpl   $0x280,-0x30(%rbp)
jge    11ff <add_word_to_vocabulary+0xef>
mov    -0x20(%rbp),%rax
imul   $0x280,-0x2c(%rbp),%ecx
shl    $0x5,%ecx
mov    -0x30(%rbp),%edx
shl    $0x5,%edx
add    %edx,%ecx
movslq %ecx,%rcx
movsbl (%rax,%rcx,1),%eax
cmp    $0x0,%eax
jne    11f1 <add_word_to_vocabulary+0xe1>
jmp    11ff <add_word_to_vocabulary+0xef>
mov    -0x30(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x30(%rbp)
jmp    11b9 <add_word_to_vocabulary+0xa9>
cmpl   $0x280,-0x30(%rbp)
jge    12ae <add_word_to_vocabulary+0x19e>
movl   $0x0,-0x34(%rbp)
mov    -0x34(%rbp),%eax
cmp    -0x38(%rbp),%eax
jge    1264 <add_word_to_vocabulary+0x154>
mov    -0x10(%rbp),%rax
mov    -0x14(%rbp),%ecx
add    -0x34(%rbp),%ecx
movslq %ecx,%rcx
movsbl (%rax,%rcx,1),%edi
call   1030 <tolower@plt>
mov    %al,%dl
mov    -0x20(%rbp),%rax
imul   $0x280,-0x2c(%rbp),%ecx
shl    $0x5,%ecx
mov    -0x30(%rbp),%esi
shl    $0x5,%esi
add    %esi,%ecx
add    -0x34(%rbp),%ecx
movslq %ecx,%rcx
mov    %dl,(%rax,%rcx,1)
mov    -0x34(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x34(%rbp)
jmp    1213 <add_word_to_vocabulary+0x103>
mov    -0x20(%rbp),%rax
imul   $0x280,-0x2c(%rbp),%ecx
shl    $0x5,%ecx
mov    -0x30(%rbp),%edx
shl    $0x5,%edx
add    %edx,%ecx
add    -0x34(%rbp),%ecx
movslq %ecx,%rcx
movb   $0x0,(%rax,%rcx,1)
mov    -0x28(%rbp),%rax
imul   $0x280,-0x2c(%rbp),%ecx
add    -0x30(%rbp),%ecx
movslq %ecx,%rcx
movss  0xd63(%rip),%xmm0
movss  %xmm0,(%rax,%rcx,4)
movl   $0x1,-0x4(%rbp)
jmp    12b5 <add_word_to_vocabulary+0x1a5>
movl   $0x0,-0x4(%rbp)
mov    -0x4(%rbp),%eax
add    $0x40,%rsp
pop    %rbp
ret

x86 assembly (clang, -O2):
<add_word_to_vocabulary>:
push   %rbp
push   %r15
push   %r14
push   %r13
push   %r12
push   %rbx
sub    $0x28,%rsp
mov    %edx,%ebp
sub    %esi,%ebp
xor    %eax,%eax
cmp    $0x1e,%ebp
jg     125e <add_word_to_vocabulary+0x14e>
mov    %rdi,%rbx
movslq %esi,%r9
movsbl (%rdi,%r9,1),%edx
lea    -0x61(%rdx),%esi
xor    %edi,%edi
cmp    $0x1a,%sil
setae  %dil
shl    $0x5,%edi
lea    (%rdi,%rdx,1),%esi
add    $0xffffff9f,%esi
cmp    $0x19,%esi
jg     125e <add_word_to_vocabulary+0x14e>
add    %r9,%rbx
mov    %esi,%eax
shl    $0xc,%eax
lea    (%rax,%rax,4),%eax
movslq %eax,%r13
lea    (%rcx,%r13,1),%rdx
add    $0x60,%rdx
xor    %eax,%eax
xor    %r14d,%r14d
cs nopw 0x0(%rax,%rax,1)
nopl   0x0(%rax)
cmpb   $0x0,-0x60(%rdx,%rax,1)
je     11b2 <add_word_to_vocabulary+0xa2>
cmpb   $0x0,-0x40(%rdx,%rax,1)
je     11bb <add_word_to_vocabulary+0xab>
cmpb   $0x0,-0x20(%rdx,%rax,1)
je     11cc <add_word_to_vocabulary+0xbc>
cmpb   $0x0,(%rdx,%rax,1)
je     11df <add_word_to_vocabulary+0xcf>
add    $0x4,%r14
sub    $0xffffffffffffff80,%rax
cmp    $0x5000,%rax
jne    1180 <add_word_to_vocabulary+0x70>
xor    %eax,%eax
jmp    125e <add_word_to_vocabulary+0x14e>
add    %rax,%r13
test   %ebp,%ebp
jg     11ee <add_word_to_vocabulary+0xde>
jmp    11db <add_word_to_vocabulary+0xcb>
or     $0x1,%r14
add    %rax,%r13
add    $0x20,%r13
test   %ebp,%ebp
jg     11ee <add_word_to_vocabulary+0xde>
jmp    11db <add_word_to_vocabulary+0xcb>
add    %rax,%r13
add    $0x40,%r13
add    $0x2,%r14
test   %ebp,%ebp
jg     11ee <add_word_to_vocabulary+0xde>
xor    %ebp,%ebp
jmp    123c <add_word_to_vocabulary+0x12c>
or     $0x3,%r14
add    %rax,%r13
add    $0x60,%r13
test   %ebp,%ebp
jle    11db <add_word_to_vocabulary+0xcb>
mov    %rsi,0x10(%rsp)
mov    %r8,0x20(%rsp)
mov    %ebp,%r15d
mov    %r13,0x8(%rsp)
mov    %rcx,0x18(%rsp)
add    %rcx,%r13
xor    %r12d,%r12d
nopl   0x0(%rax,%rax,1)
movsbl (%rbx,%r12,1),%edi
call   1030 <tolower@plt>
mov    %al,0x0(%r13,%r12,1)
add    $0x1,%r12
cmp    %r12,%r15
jne    1210 <add_word_to_vocabulary+0x100>
mov    0x20(%rsp),%r8
mov    0x18(%rsp),%rcx
mov    0x10(%rsp),%rsi
mov    0x8(%rsp),%r13
lea    (%rsi,%rsi,4),%eax
shl    $0x7,%eax
add    %r13d,%ebp
movslq %ebp,%rdx
movb   $0x0,(%rcx,%rdx,1)
add    %r14d,%eax
cltq
movl   $0x3f800000,(%r8,%rax,4)
3f
mov    $0x1,%eax
add    $0x28,%rsp
pop    %rbx
pop    %r12
pop    %r13
pop    %r14
pop    %r15
pop    %rbp
ret

LLVM IR (-O0):
define i32 @add_word_to_vocabulary(i8* %0, i32 %1, i32 %2, i8* %3, float* %4) {
%6 = alloca i32
%7 = alloca i8*
%8 = alloca i32
%9 = alloca i32
%10 = alloca i8*
%11 = alloca float*
%12 = alloca i32
%13 = alloca i32
%14 = alloca i32
%15 = alloca i32
store i8* %0, i8** %7
store i32 %1, i32* %8
store i32 %2, i32* %9
store i8* %3, i8** %10
store float* %4, float** %11
%16 = load i32, i32* %9
%17 = load i32, i32* %8
%18 = sub nsw i32 %16, %17
store i32 %18, i32* %15
%19 = load i32, i32* %15
%20 = icmp sge i32 %19, 31
br i1 %20, label %21, label %22
21: ; preds = %5
store i32 0, i32* %6
br label %132
22: ; preds = %5
%23 = load i8*, i8** %7
%24 = load i32, i32* %8
%25 = sext i32 %24 to i64
%26 = getelementptr inbounds i8, i8* %23, i64 %25
%27 = load i8, i8* %26
%28 = sext i8 %27 to i32
%29 = icmp sge i32 %28, 97
br i1 %29, label %30, label %46
30: ; preds = %22
%31 = load i8*, i8** %7
%32 = load i32, i32* %8
%33 = sext i32 %32 to i64
%34 = getelementptr inbounds i8, i8* %31, i64 %33
%35 = load i8, i8* %34
%36 = sext i8 %35 to i32
%37 = icmp sle i32 %36, 122
br i1 %37, label %38, label %46
38: ; preds = %30
%39 = load i8*, i8** %7
%40 = load i32, i32* %8
%41 = sext i32 %40 to i64
%42 = getelementptr inbounds i8, i8* %39, i64 %41
%43 = load i8, i8* %42
%44 = sext i8 %43 to i32
%45 = sub nsw i32 %44, 97
store i32 %45, i32* %12
br label %54
46: ; preds = %30, %22
%47 = load i8*, i8** %7
%48 = load i32, i32* %8
%49 = sext i32 %48 to i64
%50 = getelementptr inbounds i8, i8* %47, i64 %49
%51 = load i8, i8* %50
%52 = sext i8 %51 to i32
%53 = sub nsw i32 %52, 65
store i32 %53, i32* %12
br label %54
54: ; preds = %46, %38
%55 = load i32, i32* %12
%56 = icmp sge i32 %55, 26
br i1 %56, label %57, label %58
57: ; preds = %54
store i32 0, i32* %6
br label %132
58: ; preds = %54
store i32 0, i32* %13
br label %59
59: ; preds = %76, %58
%60 = load i32, i32* %13
%61 = icmp slt i32 %60, 640
br i1 %61, label %62, label %79
62: ; preds = %59
%63 = load i8*, i8** %10
%64 = load i32, i32* %12
%65 = mul nsw i32 %64, 640
%66 = mul nsw i32 %65, 32
%67 = load i32, i32* %13
%68 = mul nsw i32 %67, 32
%69 = add nsw i32 %66, %68
%70 = sext i32 %69 to i64
%71 = getelementptr inbounds i8, i8* %63, i64 %70
%72 = load i8, i8* %71
%73 = sext i8 %72 to i32
%74 = icmp eq i32 %73, 0
br i1 %74, label %75, label %76
75: ; preds = %62
br label %79
76: ; preds = %62
%77 = load i32, i32* %13
%78 = add nsw i32 %77, 1
store i32 %78, i32* %13
br label %59
79: ; preds = %75, %59
%80 = load i32, i32* %13
%81 = icmp slt i32 %80, 640
br i1 %81, label %82, label %131
82: ; preds = %79
store i32 0, i32* %14
br label %83
83: ; preds = %109, %82
%84 = load i32, i32* %14
%85 = load i32, i32* %15
%86 = icmp slt i32 %84, %85
br i1 %86, label %87, label %112
87: ; preds = %83
%88 = load i8*, i8** %7
%89 = load i32, i32* %8
%90 = load i32, i32* %14
%91 = add nsw i32 %89, %90
%92 = sext i32 %91 to i64
%93 = getelementptr inbounds i8, i8* %88, i64 %92
%94 = load i8, i8* %93
%95 = sext i8 %94 to i32
%96 = call i32 @tolower(i32 %95)
%97 = trunc i32 %96 to i8
%98 = load i8*, i8** %10
%99 = load i32, i32* %12
%100 = mul nsw i32 %99, 640
%101 = mul nsw i32 %100, 32
%102 = load i32, i32* %13
%103 = mul nsw i32 %102, 32
%104 = add nsw i32 %101, %103
%105 = load i32, i32* %14
%106 = add nsw i32 %104, %105
%107 = sext i32 %106 to i64
%108 = getelementptr inbounds i8, i8* %98, i64 %107
store i8 %97, i8* %108
br label %109
109: ; preds = %87
%110 = load i32, i32* %14
%111 = add nsw i32 %110, 1
store i32 %111, i32* %14
br label %83
112: ; preds = %83
%113 = load i8*, i8** %10
%114 = load i32, i32* %12
%115 = mul nsw i32 %114, 640
%116 = mul nsw i32 %115, 32
%117 = load i32, i32* %13
%118 = mul nsw i32 %117, 32
%119 = add nsw i32 %116, %118
%120 = load i32, i32* %14
%121 = add nsw i32 %119, %120
%122 = sext i32 %121 to i64
%123 = getelementptr inbounds i8, i8* %113, i64 %122
store i8 0, i8* %123
%124 = load float*, float** %11
%125 = load i32, i32* %12
%126 = mul nsw i32 %125, 640
%127 = load i32, i32* %13
%128 = add nsw i32 %126, %127
%129 = sext i32 %128 to i64
%130 = getelementptr inbounds float, float* %124, i64 %129
store float 1.000000e+00, float* %130
store i32 1, i32* %6
br label %132
131: ; preds = %79
store i32 0, i32* %6
br label %132
132: ; preds = %131, %112, %57, %21
%133 = load i32, i32* %6
ret i32 %133
}

LLVM IR (-O2):
define i32 @add_word_to_vocabulary(i8* nocapture %0, i32 %1, i32 %2, i8* nocapture %3, float* nocapture writeonly %4) {
%6 = sub i32 %2, %1
%7 = icmp sgt i32 %6, 30
br i1 %7, label %83, label %8
8: ; preds = %5
%9 = sext i32 %1 to i64
%10 = getelementptr inbounds i8, i8* %0, i64 %9
%11 = load i8, i8* %10
%12 = sext i8 %11 to i32
%13 = add i8 %11, -97
%14 = icmp ult i8 %13, 26
%15 = select i1 %14, i32 -97, i32 -65
%16 = add nsw i32 %15, %12
%17 = icmp sgt i32 %16, 25
br i1 %17, label %83, label %18
18: ; preds = %8
%19 = mul nsw i32 %16, 20480
%20 = sext i32 %19 to i64
br label %21
21: ; preds = %59, %18
%22 = phi i64 [ 0, %18 ], [ %60, %59 ]
%23 = shl nuw nsw i64 %22, 5
%24 = add nsw i64 %23, %20
%25 = getelementptr inbounds i8, i8* %3, i64 %24
%26 = load i8, i8* %25
%27 = icmp eq i8 %26, 0
br i1 %27, label %28, label %38
28: ; preds = %52, %45, %38, %21
%29 = phi i64 [ %22, %21 ], [ %39, %38 ], [ %46, %45 ], [ %53, %52 ]
%30 = phi i64 [ %24, %21 ], [ %41, %38 ], [ %48, %45 ], [ %55, %52 ]
%31 = trunc i64 %29 to i32
%32 = trunc i64 %30 to i32
%33 = icmp sgt i32 %6, 0
br i1 %33, label %34, label %74
34: ; preds = %28
%35 = shl i64 %30, 32
%36 = ashr exact i64 %35, 32
%37 = zext i32 %6 to i64
br label %62
38: ; preds = %21
%39 = or i64 %22, 1
%40 = shl nuw nsw i64 %39, 5
%41 = add nsw i64 %40, %20
%42 = getelementptr inbounds i8, i8* %3, i64 %41
%43 = load i8, i8* %42
%44 = icmp eq i8 %43, 0
br i1 %44, label %28, label %45
45: ; preds = %38
%46 = or i64 %22, 2
%47 = shl nuw nsw i64 %46, 5
%48 = add nsw i64 %47, %20
%49 = getelementptr inbounds i8, i8* %3, i64 %48
%50 = load i8, i8* %49
%51 = icmp eq i8 %50, 0
br i1 %51, label %28, label %52
52: ; preds = %45
%53 = or i64 %22, 3
%54 = shl nuw nsw i64 %53, 5
%55 = add nsw i64 %54, %20
%56 = getelementptr inbounds i8, i8* %3, i64 %55
%57 = load i8, i8* %56
%58 = icmp eq i8 %57, 0
br i1 %58, label %28, label %59
59: ; preds = %52
%60 = add nuw nsw i64 %22, 4
%61 = icmp eq i64 %60, 640
br i1 %61, label %83, label %21
62: ; preds = %34, %62
%63 = phi i64 [ 0, %34 ], [ %72, %62 ]
%64 = add nsw i64 %63, %9
%65 = getelementptr inbounds i8, i8* %0, i64 %64
%66 = load i8, i8* %65
%67 = sext i8 %66 to i32
%68 = tail call i32 @tolower(i32 %67)
%69 = trunc i32 %68 to i8
%70 = add nsw i64 %63, %36
%71 = getelementptr inbounds i8, i8* %3, i64 %70
store i8 %69, i8* %71
%72 = add nuw nsw i64 %63, 1
%73 = icmp eq i64 %72, %37
br i1 %73, label %74, label %62
74: ; preds = %62, %28
%75 = phi i32 [ 0, %28 ], [ %6, %62 ]
%76 = mul nsw i32 %16, 640
%77 = add nsw i32 %75, %32
%78 = sext i32 %77 to i64
%79 = getelementptr inbounds i8, i8* %3, i64 %78
store i8 0, i8* %79
%80 = add nsw i32 %76, %31
%81 = sext i32 %80 to i64
%82 = getelementptr inbounds float, float* %4, i64 %81
store float 1.000000e+00, float* %82
br label %83
83: ; preds = %59, %8, %5, %74
%84 = phi i32 [ 1, %74 ], [ 0, %5 ], [ 0, %8 ], [ 0, %59 ]
ret i32 %84
}