; LLVM IR from apache/mxnet :: example/extensions/lib_custom_op/gemm_lib.ll (Z4gemmPKfS0_Pfjjj)

; Unoptimized IR (clang -disable-llvm-passes):
target datalayout = "e-m:e-p270:32:32-p271:32:32-p272:64:64-i64:64-i128:128-f80:128-n8:16:32:64-S128"
target triple = "x86_64-unknown-linux-gnu"

; Function Attrs: mustprogress nounwind uwtable
define dso_local void @_Z4gemmPKfS0_Pfjjj(ptr noundef %0, ptr noundef %1, ptr noundef %2, i32 noundef %3, i32 noundef %4, i32 noundef %5) #0 {
  %7 = alloca ptr, align 8
  %8 = alloca ptr, align 8
  %9 = alloca ptr, align 8
  %10 = alloca i32, align 4
  %11 = alloca i32, align 4
  %12 = alloca i32, align 4
  %13 = alloca i32, align 4
  %14 = alloca i32, align 4
  %15 = alloca i32, align 4
  store ptr %0, ptr %7, align 8, !tbaa !5
  store ptr %1, ptr %8, align 8, !tbaa !5
  store ptr %2, ptr %9, align 8, !tbaa !5
  store i32 %3, ptr %10, align 4, !tbaa !9
  store i32 %4, ptr %11, align 4, !tbaa !9
  store i32 %5, ptr %12, align 4, !tbaa !9
  call void @llvm.lifetime.start.p0(i64 4, ptr %13) #3
  call void @llvm.lifetime.start.p0(i64 4, ptr %14) #3
  call void @llvm.lifetime.start.p0(i64 4, ptr %15) #3
  store i32 0, ptr %13, align 4, !tbaa !9
  br label %16

16:                                               ; preds = %75, %6
  %17 = load i32, ptr %13, align 4, !tbaa !9
  %18 = load i32, ptr %10, align 4, !tbaa !9
  %19 = icmp ult i32 %17, %18
  br i1 %19, label %20, label %78

20:                                               ; preds = %16
  store i32 0, ptr %14, align 4, !tbaa !9
  br label %21

21:                                               ; preds = %71, %20
  %22 = load i32, ptr %14, align 4, !tbaa !9
  %23 = load i32, ptr %12, align 4, !tbaa !9
  %24 = icmp ult i32 %22, %23
  br i1 %24, label %25, label %74

25:                                               ; preds = %21
  %26 = load ptr, ptr %9, align 8, !tbaa !5
  %27 = load i32, ptr %13, align 4, !tbaa !9
  %28 = load i32, ptr %12, align 4, !tbaa !9
  %29 = mul i32 %27, %28
  %30 = load i32, ptr %14, align 4, !tbaa !9
  %31 = add i32 %29, %30
  %32 = zext i32 %31 to i64
  %33 = getelementptr inbounds float, ptr %26, i64 %32
  store float 0.000000e+00, ptr %33, align 4, !tbaa !11
  store i32 0, ptr %15, align 4, !tbaa !9
  br label %34

34:                                               ; preds = %67, %25
  %35 = load i32, ptr %15, align 4, !tbaa !9
  %36 = load i32, ptr %11, align 4, !tbaa !9
  %37 = icmp ult i32 %35, %36
  br i1 %37, label %38, label %70

38:                                               ; preds = %34
  %39 = load ptr, ptr %7, align 8, !tbaa !5
  %40 = load i32, ptr %13, align 4, !tbaa !9
  %41 = load i32, ptr %11, align 4, !tbaa !9
  %42 = mul i32 %40, %41
  %43 = load i32, ptr %15, align 4, !tbaa !9
  %44 = add i32 %42, %43
  %45 = zext i32 %44 to i64
  %46 = getelementptr inbounds float, ptr %39, i64 %45
  %47 = load float, ptr %46, align 4, !tbaa !11
  %48 = load ptr, ptr %8, align 8, !tbaa !5
  %49 = load i32, ptr %15, align 4, !tbaa !9
  %50 = load i32, ptr %12, align 4, !tbaa !9
  %51 = mul i32 %49, %50
  %52 = load i32, ptr %14, align 4, !tbaa !9
  %53 = add i32 %51, %52
  %54 = zext i32 %53 to i64
  %55 = getelementptr inbounds float, ptr %48, i64 %54
  %56 = load float, ptr %55, align 4, !tbaa !11
  %57 = load ptr, ptr %9, align 8, !tbaa !5
  %58 = load i32, ptr %13, align 4, !tbaa !9
  %59 = load i32, ptr %12, align 4, !tbaa !9
  %60 = mul i32 %58, %59
  %61 = load i32, ptr %14, align 4, !tbaa !9
  %62 = add i32 %60, %61
  %63 = zext i32 %62 to i64
  %64 = getelementptr inbounds float, ptr %57, i64 %63
  %65 = load float, ptr %64, align 4, !tbaa !11
  %66 = call float @llvm.fmuladd.f32(float %47, float %56, float %65)
  store float %66, ptr %64, align 4, !tbaa !11
  br label %67

67:                                               ; preds = %38
  %68 = load i32, ptr %15, align 4, !tbaa !9
  %69 = add i32 %68, 1
  store i32 %69, ptr %15, align 4, !tbaa !9
  br label %34, !llvm.loop !13

70:                                               ; preds = %34
  br label %71

71:                                               ; preds = %70
  %72 = load i32, ptr %14, align 4, !tbaa !9
  %73 = add i32 %72, 1
  store i32 %73, ptr %14, align 4, !tbaa !9
  br label %21, !llvm.loop !15

74:                                               ; preds = %21
  br label %75

75:                                               ; preds = %74
  %76 = load i32, ptr %13, align 4, !tbaa !9
  %77 = add i32 %76, 1
  store i32 %77, ptr %13, align 4, !tbaa !9
  br label %16, !llvm.loop !16

78:                                               ; preds = %16
  call void @llvm.lifetime.end.p0(i64 4, ptr %15) #3
  call void @llvm.lifetime.end.p0(i64 4, ptr %14) #3
  call void @llvm.lifetime.end.p0(i64 4, ptr %13) #3
  ret void
}

; Function Attrs: nocallback nofree nosync nounwind willreturn memory(argmem: readwrite)
declare void @llvm.lifetime.start.p0(i64 immarg, ptr nocapture) #1

; Function Attrs: nocallback nofree nosync nounwind speculatable willreturn memory(none)
declare float @llvm.fmuladd.f32(float, float, float) #2

; Function Attrs: nocallback nofree nosync nounwind willreturn memory(argmem: readwrite)
declare void @llvm.lifetime.end.p0(i64 immarg, ptr nocapture) #1

attributes #0 = { mustprogress nounwind uwtable "min-legal-vector-width"="0" "no-trapping-math"="true" "stack-protector-buffer-size"="8" "target-cpu"="x86-64" "target-features"="+cmov,+cx8,+fxsr,+mmx,+sse,+sse2,+x87" "tune-cpu"="generic" }
attributes #1 = { nocallback nofree nosync nounwind willreturn memory(argmem: readwrite) }
attributes #2 = { nocallback nofree nosync nounwind speculatable willreturn memory(none) }
attributes #3 = { nounwind }

!llvm.module.flags = !{!0, !1, !2, !3}
!llvm.ident = !{!4}

!0 = !{i32 1, !"wchar_size", i32 4}
!1 = !{i32 8, !"PIC Level", i32 2}
!2 = !{i32 7, !"PIE Level", i32 2}
!3 = !{i32 7, !"uwtable", i32 2}
!4 = !{!"clang version 19.1.0 (git@github.com:llvm/llvm-project.git a4bf6cd7cfb1a1421ba92bca9d017b49936c55e4)"}
!5 = !{!6, !6, i64 0}
!6 = !{!"any pointer", !7, i64 0}
!7 = !{!"omnipotent char", !8, i64 0}
!8 = !{!"Simple C++ TBAA"}
!9 = !{!10, !10, i64 0}
!10 = !{!"int", !7, i64 0}
!11 = !{!12, !12, i64 0}
!12 = !{!"float", !7, i64 0}
!13 = distinct !{!13, !14}
!14 = !{!"llvm.loop.mustprogress"}
!15 = distinct !{!15, !14}
!16 = distinct !{!16, !14}


; Optimized IR (opt -passes='default<O3>'):
target datalayout = "e-m:e-p270:32:32-p271:32:32-p272:64:64-i64:64-i128:128-f80:128-n8:16:32:64-S128"
target triple = "x86_64-unknown-linux-gnu"

; Function Attrs: mustprogress nofree norecurse nosync nounwind memory(argmem: readwrite) uwtable
define dso_local void @_Z4gemmPKfS0_Pfjjj(ptr nocapture noundef readonly %0, ptr nocapture noundef readonly %1, ptr nocapture noundef writeonly %2, i32 noundef %3, i32 noundef %4, i32 noundef %5) local_unnamed_addr #0 {
  %.not = icmp eq i32 %3, 0
  %.not36 = icmp eq i32 %5, 0
  %or.cond = or i1 %.not, %.not36
  br i1 %or.cond, label %._crit_edge, label %.preheader.lr.ph.split.us

.preheader.lr.ph.split.us:                        ; preds = %6
  %.not37 = icmp eq i32 %4, 0
  %wide.trip.count50 = zext i32 %5 to i64
  br i1 %.not37, label %.preheader.us.preheader, label %.preheader.us.us.preheader

.preheader.us.preheader:                          ; preds = %.preheader.lr.ph.split.us
  %7 = add nsw i64 %wide.trip.count50, -1
  %min.iters.check = icmp ult i32 %5, 8
  %8 = trunc i64 %7 to i32
  %9 = icmp ugt i64 %7, 4294967295
  %n.vec = and i64 %wide.trip.count50, 4294967288
  %cmp.n = icmp eq i64 %n.vec, %wide.trip.count50
  %xtraiter56 = and i64 %wide.trip.count50, 3
  %lcmp.mod57.not = icmp eq i64 %xtraiter56, 0
  br label %.preheader.us

.preheader.us.us.preheader:                       ; preds = %.preheader.lr.ph.split.us
  %wide.trip.count = zext i32 %4 to i64
  %xtraiter = and i64 %wide.trip.count, 1
  %10 = icmp eq i32 %4, 1
  %unroll_iter = and i64 %wide.trip.count, 4294967294
  %lcmp.mod.not = icmp eq i64 %xtraiter, 0
  br label %.preheader.us.us

.preheader.us.us:                                 ; preds = %.preheader.us.us.preheader, %._crit_edge31.split.us.us.us
  %.02532.us.us = phi i32 [ %52, %._crit_edge31.split.us.us.us ], [ 0, %.preheader.us.us.preheader ]
  %11 = mul i32 %.02532.us.us, %5
  %12 = mul i32 %.02532.us.us, %4
  br label %.lr.ph.us.us.us

.lr.ph.us.us.us:                                  ; preds = %._crit_edge.us.us.us, %.preheader.us.us
  %indvars.iv41 = phi i64 [ %indvars.iv.next42, %._crit_edge.us.us.us ], [ 0, %.preheader.us.us ]
  %13 = trunc nuw i64 %indvars.iv41 to i32
  %14 = add i32 %11, %13
  %15 = zext i32 %14 to i64
  %16 = getelementptr inbounds float, ptr %2, i64 %15
  store float 0.000000e+00, ptr %16, align 4, !tbaa !5
  br i1 %10, label %._crit_edge.us.us.us.unr-lcssa, label %.lr.ph.us.us.us.new

.lr.ph.us.us.us.new:                              ; preds = %.lr.ph.us.us.us, %.lr.ph.us.us.us.new
  %indvars.iv = phi i64 [ %indvars.iv.next.1, %.lr.ph.us.us.us.new ], [ 0, %.lr.ph.us.us.us ]
  %17 = phi float [ %40, %.lr.ph.us.us.us.new ], [ 0.000000e+00, %.lr.ph.us.us.us ]
  %niter = phi i64 [ %niter.next.1, %.lr.ph.us.us.us.new ], [ 0, %.lr.ph.us.us.us ]
  %18 = trunc nuw i64 %indvars.iv to i32
  %19 = add i32 %12, %18
  %20 = zext i32 %19 to i64
  %21 = getelementptr inbounds float, ptr %0, i64 %20
  %22 = load float, ptr %21, align 4, !tbaa !5
  %23 = mul i32 %18, %5
  %24 = add i32 %23, %13
  %25 = zext i32 %24 to i64
  %26 = getelementptr inbounds float, ptr %1, i64 %25
  %27 = load float, ptr %26, align 4, !tbaa !5
  %28 = tail call float @llvm.fmuladd.f32(float %22, float %27, float %17)
  store float %28, ptr %16, align 4, !tbaa !5
  %29 = trunc i64 %indvars.iv to i32
  %30 = or disjoint i32 %29, 1
  %31 = add i32 %12, %30
  %32 = zext i32 %31 to i64
  %33 = getelementptr inbounds float, ptr %0, i64 %32
  %34 = load float, ptr %33, align 4, !tbaa !5
  %35 = mul i32 %30, %5
  %36 = add i32 %35, %13
  %37 = zext i32 %36 to i64
  %38 = getelementptr inbounds float, ptr %1, i64 %37
  %39 = load float, ptr %38, align 4, !tbaa !5
  %40 = tail call float @llvm.fmuladd.f32(float %34, float %39, float %28)
  store float %40, ptr %16, align 4, !tbaa !5
  %indvars.iv.next.1 = add nuw nsw i64 %indvars.iv, 2
  %niter.next.1 = add i64 %niter, 2
  %niter.ncmp.1 = icmp eq i64 %niter.next.1, %unroll_iter
  br i1 %niter.ncmp.1, label %._crit_edge.us.us.us.unr-lcssa, label %.lr.ph.us.us.us.new, !llvm.loop !9

._crit_edge.us.us.us.unr-lcssa:                   ; preds = %.lr.ph.us.us.us.new, %.lr.ph.us.us.us
  %indvars.iv.unr = phi i64 [ 0, %.lr.ph.us.us.us ], [ %indvars.iv.next.1, %.lr.ph.us.us.us.new ]
  %.unr = phi float [ 0.000000e+00, %.lr.ph.us.us.us ], [ %40, %.lr.ph.us.us.us.new ]
  br i1 %lcmp.mod.not, label %._crit_edge.us.us.us, label %._crit_edge.us.us.us.epilog-lcssa

._crit_edge.us.us.us.epilog-lcssa:                ; preds = %._crit_edge.us.us.us.unr-lcssa
  %41 = trunc nuw i64 %indvars.iv.unr to i32
  %42 = add i32 %12, %41
  %43 = zext i32 %42 to i64
  %44 = getelementptr inbounds float, ptr %0, i64 %43
  %45 = load float, ptr %44, align 4, !tbaa !5
  %46 = mul i32 %41, %5
  %47 = add i32 %46, %13
  %48 = zext i32 %47 to i64
  %49 = getelementptr inbounds float, ptr %1, i64 %48
  %50 = load float, ptr %49, align 4, !tbaa !5
  %51 = tail call float @llvm.fmuladd.f32(float %45, float %50, float %.unr)
  store float %51, ptr %16, align 4, !tbaa !5
  br label %._crit_edge.us.us.us

._crit_edge.us.us.us:                             ; preds = %._crit_edge.us.us.us.unr-lcssa, %._crit_edge.us.us.us.epilog-lcssa
  %indvars.iv.next42 = add nuw nsw i64 %indvars.iv41, 1
  %exitcond45.not = icmp eq i64 %indvars.iv.next42, %wide.trip.count50
  br i1 %exitcond45.not, label %._crit_edge31.split.us.us.us, label %.lr.ph.us.us.us, !llvm.loop !11

._crit_edge31.split.us.us.us:                     ; preds = %._crit_edge.us.us.us
  %52 = add nuw i32 %.02532.us.us, 1
  %exitcond46.not = icmp eq i32 %52, %3
  br i1 %exitcond46.not, label %._crit_edge, label %.preheader.us.us, !llvm.loop !12

.preheader.us:                                    ; preds = %.preheader.us.preheader, %._crit_edge31.split.us34
  %.02532.us = phi i32 [ %89, %._crit_edge31.split.us34 ], [ 0, %.preheader.us.preheader ]
  %53 = mul i32 %.02532.us, %5
  br i1 %min.iters.check, label %scalar.ph.preheader, label %vector.scevcheck

vector.scevcheck:                                 ; preds = %.preheader.us
  %54 = mul i32 %.02532.us, %5
  %55 = xor i32 %54, -1
  %56 = icmp ult i32 %55, %8
  %57 = or i1 %56, %9
  br i1 %57, label %scalar.ph.preheader, label %vector.body

vector.body:                                      ; preds = %vector.scevcheck, %vector.body
  %index = phi i64 [ %index.next, %vector.body ], [ 0, %vector.scevcheck ]
  %58 = trunc i64 %index to i32
  %59 = add i32 %53, %58
  %60 = zext i32 %59 to i64
  %61 = getelementptr inbounds float, ptr %2, i64 %60
  %62 = getelementptr inbounds i8, ptr %61, i64 16
  store <4 x float> zeroinitializer, ptr %61, align 4, !tbaa !5
  store <4 x float> zeroinitializer, ptr %62, align 4, !tbaa !5
  %index.next = add nuw i64 %index, 8
  %63 = icmp eq i64 %index.next, %n.vec
  br i1 %63, label %middle.block, label %vector.body, !llvm.loop !13

middle.block:                                     ; preds = %vector.body
  br i1 %cmp.n, label %._crit_edge31.split.us34, label %scalar.ph.preheader

scalar.ph.preheader:                              ; preds = %middle.block, %vector.scevcheck, %.preheader.us
  %indvars.iv47.ph = phi i64 [ 0, %vector.scevcheck ], [ 0, %.preheader.us ], [ %n.vec, %middle.block ]
  br i1 %lcmp.mod57.not, label %scalar.ph.prol.loopexit, label %scalar.ph.prol

scalar.ph.prol:                                   ; preds = %scalar.ph.preheader, %scalar.ph.prol
  %indvars.iv47.prol = phi i64 [ %indvars.iv.next48.prol, %scalar.ph.prol ], [ %indvars.iv47.ph, %scalar.ph.preheader ]
  %prol.iter = phi i64 [ %prol.iter.next, %scalar.ph.prol ], [ 0, %scalar.ph.preheader ]
  %64 = trunc nuw i64 %indvars.iv47.prol to i32
  %65 = add i32 %53, %64
  %66 = zext i32 %65 to i64
  %67 = getelementptr inbounds float, ptr %2, i64 %66
  store float 0.000000e+00, ptr %67, align 4, !tbaa !5
  %indvars.iv.next48.prol = add nuw nsw i64 %indvars.iv47.prol, 1
  %prol.iter.next = add i64 %prol.iter, 1
  %prol.iter.cmp.not = icmp eq i64 %prol.iter.next, %xtraiter56
  br i1 %prol.iter.cmp.not, label %scalar.ph.prol.loopexit, label %scalar.ph.prol, !llvm.loop !16

scalar.ph.prol.loopexit:                          ; preds = %scalar.ph.prol, %scalar.ph.preheader
  %indvars.iv47.unr = phi i64 [ %indvars.iv47.ph, %scalar.ph.preheader ], [ %indvars.iv.next48.prol, %scalar.ph.prol ]
  %68 = sub nsw i64 %indvars.iv47.ph, %wide.trip.count50
  %69 = icmp ugt i64 %68, -4
  br i1 %69, label %._crit_edge31.split.us34, label %scalar.ph

scalar.ph:                                        ; preds = %scalar.ph.prol.loopexit, %scalar.ph
  %indvars.iv47 = phi i64 [ %indvars.iv.next48.3, %scalar.ph ], [ %indvars.iv47.unr, %scalar.ph.prol.loopexit ]
  %70 = trunc nuw i64 %indvars.iv47 to i32
  %71 = add i32 %53, %70
  %72 = zext i32 %71 to i64
  %73 = getelementptr inbounds float, ptr %2, i64 %72
  store float 0.000000e+00, ptr %73, align 4, !tbaa !5
  %74 = trunc i64 %indvars.iv47 to i32
  %75 = add i32 %74, 1
  %76 = add i32 %53, %75
  %77 = zext i32 %76 to i64
  %78 = getelementptr inbounds float, ptr %2, i64 %77
  store float 0.000000e+00, ptr %78, align 4, !tbaa !5
  %79 = trunc i64 %indvars.iv47 to i32
  %80 = add i32 %79, 2
  %81 = add i32 %53, %80
  %82 = zext i32 %81 to i64
  %83 = getelementptr inbounds float, ptr %2, i64 %82
  store float 0.000000e+00, ptr %83, align 4, !tbaa !5
  %84 = trunc i64 %indvars.iv47 to i32
  %85 = add i32 %84, 3
  %86 = add i32 %53, %85
  %87 = zext i32 %86 to i64
  %88 = getelementptr inbounds float, ptr %2, i64 %87
  store float 0.000000e+00, ptr %88, align 4, !tbaa !5
  %indvars.iv.next48.3 = add nuw nsw i64 %indvars.iv47, 4
  %exitcond51.not.3 = icmp eq i64 %indvars.iv.next48.3, %wide.trip.count50
  br i1 %exitcond51.not.3, label %._crit_edge31.split.us34, label %scalar.ph, !llvm.loop !18

._crit_edge31.split.us34:                         ; preds = %scalar.ph.prol.loopexit, %scalar.ph, %middle.block
  %89 = add nuw i32 %.02532.us, 1
  %exitcond52.not = icmp eq i32 %89, %3
  br i1 %exitcond52.not, label %._crit_edge, label %.preheader.us, !llvm.loop !12

._crit_edge:                                      ; preds = %._crit_edge31.split.us.us.us, %._crit_edge31.split.us34, %6
  ret void
}

; Function Attrs: mustprogress nocallback nofree nosync nounwind speculatable willreturn memory(none)
declare float @llvm.fmuladd.f32(float, float, float) #1

attributes #0 = { mustprogress nofree norecurse nosync nounwind memory(argmem: readwrite) uwtable "min-legal-vector-width"="0" "no-trapping-math"="true" "stack-protector-buffer-size"="8" "target-cpu"="x86-64" "target-features"="+cmov,+cx8,+fxsr,+mmx,+sse,+sse2,+x87" "tune-cpu"="generic" }
attributes #1 = { mustprogress nocallback nofree nosync nounwind speculatable willreturn memory(none) }

!llvm.module.flags = !{!0, !1, !2, !3}
!llvm.ident = !{!4}

!0 = !{i32 1, !"wchar_size", i32 4}
!1 = !{i32 8, !"PIC Level", i32 2}
!2 = !{i32 7, !"PIE Level", i32 2}
!3 = !{i32 7, !"uwtable", i32 2}
!4 = !{!"clang version 19.1.0 (git@github.com:llvm/llvm-project.git a4bf6cd7cfb1a1421ba92bca9d017b49936c55e4)"}
!5 = !{!6, !6, i64 0}
!6 = !{!"float", !7, i64 0}
!7 = !{!"omnipotent char", !8, i64 0}
!8 = !{!"Simple C++ TBAA"}
!9 = distinct !{!9, !10}
!10 = !{!"llvm.loop.mustprogress"}
!11 = distinct !{!11, !10}
!12 = distinct !{!12, !10}
!13 = distinct !{!13, !10, !14, !15}
!14 = !{!"llvm.loop.isvectorized", i32 1}
!15 = !{!"llvm.loop.unroll.runtime.disable"}
!16 = distinct !{!16, !17}
!17 = !{!"llvm.loop.unroll.disable"}
!18 = distinct !{!18, !10, !14}


; Effective O3 passes: CorrelatedValuePropagationPass,EarlyCSEPass,GVNPass,GlobalOptPass,IndVarSimplifyPass,InferFunctionAttrsPass,InstCombinePass,InstSimplifyPass,JumpThreadingPass,LCSSAPass,LICMPass,LoopInstSimplifyPass,LoopLoadEliminationPass,LoopRotatePass,LoopSimplifyCFGPass,LoopSimplifyPass,LoopUnrollPass,LoopVectorizePass,PostOrderFunctionAttrsPass,ReassociatePass,SROAPass,SimplifyCFGPass,TailCallElimPass