void float_matrix_vec_mul(const float *mat, const float *vec, float *vec_ret,
                          int row, int col) {
  for (int i = 0; i < row; i++) {
    float sum = 0;
    for (int j = 0; j < col; j++) {
      sum += mat[i * col + j] * vec[j];
    }
    vec_ret[i] = sum;
  }
}


x86 assembly (clang, -O0):
<float_matrix_vec_mul>:
push   %rbp
mov    %rsp,%rbp
mov    %rdi,-0x8(%rbp)
mov    %rsi,-0x10(%rbp)
mov    %rdx,-0x18(%rbp)
mov    %ecx,-0x1c(%rbp)
mov    %r8d,-0x20(%rbp)
movl   $0x0,-0x24(%rbp)
mov    -0x24(%rbp),%eax
cmp    -0x1c(%rbp),%eax
jge    11a8 <float_matrix_vec_mul+0xa8>
xorps  %xmm0,%xmm0
movss  %xmm0,-0x28(%rbp)
movl   $0x0,-0x2c(%rbp)
mov    -0x2c(%rbp),%eax
cmp    -0x20(%rbp),%eax
jge    1188 <float_matrix_vec_mul+0x88>
mov    -0x8(%rbp),%rax
mov    -0x24(%rbp),%ecx
imul   -0x20(%rbp),%ecx
add    -0x2c(%rbp),%ecx
movslq %ecx,%rcx
movss  (%rax,%rcx,4),%xmm0
mov    -0x10(%rbp),%rax
movslq -0x2c(%rbp),%rcx
movss  (%rax,%rcx,4),%xmm2
movss  -0x28(%rbp),%xmm1
mulss  %xmm2,%xmm0
addss  %xmm1,%xmm0
movss  %xmm0,-0x28(%rbp)
mov    -0x2c(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x2c(%rbp)
jmp    1139 <float_matrix_vec_mul+0x39>
movss  -0x28(%rbp),%xmm0
mov    -0x18(%rbp),%rax
movslq -0x24(%rbp),%rcx
movss  %xmm0,(%rax,%rcx,4)
mov    -0x24(%rbp),%eax
add    $0x1,%eax
mov    %eax,-0x24(%rbp)
jmp    111e <float_matrix_vec_mul+0x1e>
pop    %rbp
ret

x86 assembly (clang, -O2):
<float_matrix_vec_mul>:
push   %r15
push   %r14
push   %r13
push   %r12
push   %rbx
test   %ecx,%ecx
jle    11ee <float_matrix_vec_mul+0xee>
movslq %r8d,%r11
mov    %ecx,%r9d
mov    %r11d,%r15d
lea    -0x1(%r15),%r10
mov    %r15d,%r12d
and    $0x3,%r12d
and    $0xfffffffc,%r15d
lea    0xc(%rdi),%rbx
shl    $0x2,%r11
xor    %r14d,%r14d
jmp    1159 <float_matrix_vec_mul+0x59>
cs nopw 0x0(%rax,%rax,1)
movss  %xmm0,(%rdx,%r14,4)
add    $0x1,%r14
add    %r11,%rbx
add    %r11,%rdi
cmp    %r9,%r14
je     11ee <float_matrix_vec_mul+0xee>
xorps  %xmm0,%xmm0
test   %r8d,%r8d
jle    1140 <float_matrix_vec_mul+0x40>
xor    %eax,%eax
cmp    $0x3,%r10
jb     11b7 <float_matrix_vec_mul+0xb7>
nopl   0x0(%rax)
movss  -0xc(%rbx,%rax,4),%xmm1
movss  -0x8(%rbx,%rax,4),%xmm2
mulss  (%rsi,%rax,4),%xmm1
mulss  0x4(%rsi,%rax,4),%xmm2
addss  %xmm0,%xmm1
movss  -0x4(%rbx,%rax,4),%xmm3
mulss  0x8(%rsi,%rax,4),%xmm3
addss  %xmm1,%xmm2
movss  (%rbx,%rax,4),%xmm0
mulss  0xc(%rsi,%rax,4),%xmm0
addss  %xmm2,%xmm3
addss  %xmm3,%xmm0
add    $0x4,%rax
cmp    %rax,%r15
jne    1170 <float_matrix_vec_mul+0x70>
test   %r12,%r12
je     1140 <float_matrix_vec_mul+0x40>
lea    (%rsi,%rax,4),%r13
lea    (%rdi,%rax,4),%rax
xor    %ecx,%ecx
cs nopw 0x0(%rax,%rax,1)
movss  (%rax,%rcx,4),%xmm1
mulss  0x0(%r13,%rcx,4),%xmm1
addss  %xmm1,%xmm0
add    $0x1,%rcx
cmp    %rcx,%r12
jne    11d0 <float_matrix_vec_mul+0xd0>
jmp    1140 <float_matrix_vec_mul+0x40>
pop    %rbx
pop    %r12
pop    %r13
pop    %r14
pop    %r15
ret

LLVM IR (-O0):
define void @float_matrix_vec_mul(float* %0, float* %1, float* %2, i32 %3, i32 %4) {
%6 = alloca float*
%7 = alloca float*
%8 = alloca float*
%9 = alloca i32
%10 = alloca i32
%11 = alloca i32
%12 = alloca float
%13 = alloca i32
store float* %0, float** %6
store float* %1, float** %7
store float* %2, float** %8
store i32 %3, i32* %9
store i32 %4, i32* %10
store i32 0, i32* %11
br label %14
14: ; preds = %49, %5
%15 = load i32, i32* %11
%16 = load i32, i32* %9
%17 = icmp slt i32 %15, %16
br i1 %17, label %18, label %52
18: ; preds = %14
store float 0.000000e+00, float* %12
store i32 0, i32* %13
br label %19
19: ; preds = %40, %18
%20 = load i32, i32* %13
%21 = load i32, i32* %10
%22 = icmp slt i32 %20, %21
br i1 %22, label %23, label %43
23: ; preds = %19
%24 = load float*, float** %6
%25 = load i32, i32* %11
%26 = load i32, i32* %10
%27 = mul nsw i32 %25, %26
%28 = load i32, i32* %13
%29 = add nsw i32 %27, %28
%30 = sext i32 %29 to i64
%31 = getelementptr inbounds float, float* %24, i64 %30
%32 = load float, float* %31
%33 = load float*, float** %7
%34 = load i32, i32* %13
%35 = sext i32 %34 to i64
%36 = getelementptr inbounds float, float* %33, i64 %35
%37 = load float, float* %36
%38 = load float, float* %12
%39 = call float @llvm.fmuladd.f32(float %32, float %37, float %38)
store float %39, float* %12
br label %40
40: ; preds = %23
%41 = load i32, i32* %13
%42 = add nsw i32 %41, 1
store i32 %42, i32* %13
br label %19
43: ; preds = %19
%44 = load float, float* %12
%45 = load float*, float** %8
%46 = load i32, i32* %11
%47 = sext i32 %46 to i64
%48 = getelementptr inbounds float, float* %45, i64 %47
store float %44, float* %48
br label %49
49: ; preds = %43
%50 = load i32, i32* %11
%51 = add nsw i32 %50, 1
store i32 %51, i32* %11
br label %14
52: ; preds = %14
ret void
}

LLVM IR (-O2):
define void @float_matrix_vec_mul(float* nocapture %0, float* nocapture %1, float* nocapture writeonly %2, i32 %3, i32 %4) {
%6 = icmp sgt i32 %3, 0
br i1 %6, label %7, label %21
7: ; preds = %5
%8 = icmp sgt i32 %4, 0
%9 = sext i32 %4 to i64
%10 = zext i32 %3 to i64
%11 = zext i32 %4 to i64
%12 = add nsw i64 %11, -1
%13 = and i64 %11, 3
%14 = icmp ult i64 %12, 3
%15 = and i64 %11, 4294967292
%16 = icmp eq i64 %13, 0
br label %17
17: ; preds = %7, %39
%18 = phi i64 [ 0, %7 ], [ %42, %39 ]
br i1 %8, label %19, label %39
19: ; preds = %17
%20 = mul nsw i64 %18, %9
br i1 %14, label %22, label %44
21: ; preds = %39, %5
ret void
22: ; preds = %44, %19
%23 = phi float [ undef, %19 ], [ %74, %44 ]
%24 = phi i64 [ 0, %19 ], [ %75, %44 ]
%25 = phi float [ 0.000000e+00, %19 ], [ %74, %44 ]
br i1 %16, label %39, label %26
26: ; preds = %22, %26
%27 = phi i64 [ %36, %26 ], [ %24, %22 ]
%28 = phi float [ %35, %26 ], [ %25, %22 ]
%29 = phi i64 [ %37, %26 ], [ 0, %22 ]
%30 = add nsw i64 %27, %20
%31 = getelementptr inbounds float, float* %0, i64 %30
%32 = load float, float* %31
%33 = getelementptr inbounds float, float* %1, i64 %27
%34 = load float, float* %33
%35 = tail call float @llvm.fmuladd.f32(float %32, float %34, float %28)
%36 = add nuw nsw i64 %27, 1
%37 = add i64 %29, 1
%38 = icmp eq i64 %37, %13
br i1 %38, label %39, label %26
39: ; preds = %22, %26, %17
%40 = phi float [ 0.000000e+00, %17 ], [ %23, %22 ], [ %35, %26 ]
%41 = getelementptr inbounds float, float* %2, i64 %18
store float %40, float* %41
%42 = add nuw nsw i64 %18, 1
%43 = icmp eq i64 %42, %10
br i1 %43, label %21, label %17
44: ; preds = %19, %44
%45 = phi i64 [ %75, %44 ], [ 0, %19 ]
%46 = phi float [ %74, %44 ], [ 0.000000e+00, %19 ]
%47 = phi i64 [ %76, %44 ], [ 0, %19 ]
%48 = add nsw i64 %45, %20
%49 = getelementptr inbounds float, float* %0, i64 %48
%50 = load float, float* %49
%51 = getelementptr inbounds float, float* %1, i64 %45
%52 = load float, float* %51
%53 = tail call float @llvm.fmuladd.f32(float %50, float %52, float %46)
%54 = or i64 %45, 1
%55 = add nsw i64 %54, %20
%56 = getelementptr inbounds float, float* %0, i64 %55
%57 = load float, float* %56
%58 = getelementptr inbounds float, float* %1, i64 %54
%59 = load float, float* %58
%60 = tail call float @llvm.fmuladd.f32(float %57, float %59, float %53)
%61 = or i64 %45, 2
%62 = add nsw i64 %61, %20
%63 = getelementptr inbounds float, float* %0, i64 %62
%64 = load float, float* %63
%65 = getelementptr inbounds float, float* %1, i64 %61
%66 = load float, float* %65
%67 = tail call float @llvm.fmuladd.f32(float %64, float %66, float %60)
%68 = or i64 %45, 3
%69 = add nsw i64 %68, %20
%70 = getelementptr inbounds float, float* %0, i64 %69
%71 = load float, float* %70
%72 = getelementptr inbounds float, float* %1, i64 %68
%73 = load float, float* %72
%74 = tail call float @llvm.fmuladd.f32(float %71, float %73, float %67)
%75 = add nuw nsw i64 %45, 4
%76 = add i64 %47, 4
%77 = icmp eq i64 %76, %15
br i1 %77, label %22, label %44
}