; LLVM IR from ermig1979/Simd :: src/Simd/SimdBaseNeural.ll (ZN4Simd4Base30NeuralConvolutionForwardGemmNTEmmmPKfS2_Pf)

; Unoptimized IR (clang -disable-llvm-passes):
target datalayout = "e-m:e-p270:32:32-p271:32:32-p272:64:64-i64:64-i128:128-f80:128-n8:16:32:64-S128"
target triple = "x86_64-unknown-linux-gnu"

; Function Attrs: nocallback nofree nosync nounwind willreturn memory(argmem: readwrite)
declare void @llvm.lifetime.start.p0(i64 immarg, ptr nocapture) #0

; Function Attrs: nocallback nofree nosync nounwind willreturn memory(argmem: readwrite)
declare void @llvm.lifetime.end.p0(i64 immarg, ptr nocapture) #0

; Function Attrs: nocallback nofree nosync nounwind speculatable willreturn memory(none)
declare float @llvm.fmuladd.f32(float, float, float) #1

; Function Attrs: mustprogress nounwind uwtable
define dso_local void @_ZN4Simd4Base30NeuralConvolutionForwardGemmNTEmmmPKfS2_Pf(i64 noundef %0, i64 noundef %1, i64 noundef %2, ptr noundef %3, ptr noundef %4, ptr noundef %5) #2 {
  %7 = alloca i64, align 8
  %8 = alloca i64, align 8
  %9 = alloca i64, align 8
  %10 = alloca ptr, align 8
  %11 = alloca ptr, align 8
  %12 = alloca ptr, align 8
  %13 = alloca i64, align 8
  %14 = alloca i32, align 4
  %15 = alloca i64, align 8
  %16 = alloca float, align 4
  %17 = alloca ptr, align 8
  %18 = alloca ptr, align 8
  %19 = alloca i64, align 8
  store i64 %0, ptr %7, align 8, !tbaa !5
  store i64 %1, ptr %8, align 8, !tbaa !5
  store i64 %2, ptr %9, align 8, !tbaa !5
  store ptr %3, ptr %10, align 8, !tbaa !9
  store ptr %4, ptr %11, align 8, !tbaa !9
  store ptr %5, ptr %12, align 8, !tbaa !9
  call void @llvm.lifetime.start.p0(i64 8, ptr %13) #3
  store i64 0, ptr %13, align 8, !tbaa !5
  br label %20

20:                                               ; preds = %76, %6
  %21 = load i64, ptr %13, align 8, !tbaa !5
  %22 = load i64, ptr %7, align 8, !tbaa !5
  %23 = icmp ult i64 %21, %22
  br i1 %23, label %25, label %24

24:                                               ; preds = %20
  store i32 2, ptr %14, align 4
  call void @llvm.lifetime.end.p0(i64 8, ptr %13) #3
  br label %79

25:                                               ; preds = %20
  call void @llvm.lifetime.start.p0(i64 8, ptr %15) #3
  store i64 0, ptr %15, align 8, !tbaa !5
  br label %26

26:                                               ; preds = %72, %25
  %27 = load i64, ptr %15, align 8, !tbaa !5
  %28 = load i64, ptr %8, align 8, !tbaa !5
  %29 = icmp ult i64 %27, %28
  br i1 %29, label %31, label %30

30:                                               ; preds = %26
  store i32 5, ptr %14, align 4
  call void @llvm.lifetime.end.p0(i64 8, ptr %15) #3
  br label %75

31:                                               ; preds = %26
  call void @llvm.lifetime.start.p0(i64 4, ptr %16) #3
  store float 0.000000e+00, ptr %16, align 4, !tbaa !11
  call void @llvm.lifetime.start.p0(i64 8, ptr %17) #3
  %32 = load ptr, ptr %10, align 8, !tbaa !9
  %33 = load i64, ptr %13, align 8, !tbaa !5
  %34 = load i64, ptr %9, align 8, !tbaa !5
  %35 = mul i64 %33, %34
  %36 = getelementptr inbounds float, ptr %32, i64 %35
  store ptr %36, ptr %17, align 8, !tbaa !9
  call void @llvm.lifetime.start.p0(i64 8, ptr %18) #3
  %37 = load ptr, ptr %11, align 8, !tbaa !9
  %38 = load i64, ptr %15, align 8, !tbaa !5
  %39 = load i64, ptr %9, align 8, !tbaa !5
  %40 = mul i64 %38, %39
  %41 = getelementptr inbounds float, ptr %37, i64 %40
  store ptr %41, ptr %18, align 8, !tbaa !9
  call void @llvm.lifetime.start.p0(i64 8, ptr %19) #3
  store i64 0, ptr %19, align 8, !tbaa !5
  br label %42

42:                                               ; preds = %58, %31
  %43 = load i64, ptr %19, align 8, !tbaa !5
  %44 = load i64, ptr %9, align 8, !tbaa !5
  %45 = icmp ult i64 %43, %44
  br i1 %45, label %47, label %46

46:                                               ; preds = %42
  store i32 8, ptr %14, align 4
  call void @llvm.lifetime.end.p0(i64 8, ptr %19) #3
  br label %61

47:                                               ; preds = %42
  %48 = load ptr, ptr %17, align 8, !tbaa !9
  %49 = load i64, ptr %19, align 8, !tbaa !5
  %50 = getelementptr inbounds float, ptr %48, i64 %49
  %51 = load float, ptr %50, align 4, !tbaa !11
  %52 = load ptr, ptr %18, align 8, !tbaa !9
  %53 = load i64, ptr %19, align 8, !tbaa !5
  %54 = getelementptr inbounds float, ptr %52, i64 %53
  %55 = load float, ptr %54, align 4, !tbaa !11
  %56 = load float, ptr %16, align 4, !tbaa !11
  %57 = call float @llvm.fmuladd.f32(float %51, float %55, float %56)
  store float %57, ptr %16, align 4, !tbaa !11
  br label %58

58:                                               ; preds = %47
  %59 = load i64, ptr %19, align 8, !tbaa !5
  %60 = add i64 %59, 1
  store i64 %60, ptr %19, align 8, !tbaa !5
  br label %42, !llvm.loop !13

61:                                               ; preds = %46
  %62 = load float, ptr %16, align 4, !tbaa !11
  %63 = load ptr, ptr %12, align 8, !tbaa !9
  %64 = load i64, ptr %13, align 8, !tbaa !5
  %65 = load i64, ptr %8, align 8, !tbaa !5
  %66 = mul i64 %64, %65
  %67 = load i64, ptr %15, align 8, !tbaa !5
  %68 = add i64 %66, %67
  %69 = getelementptr inbounds float, ptr %63, i64 %68
  %70 = load float, ptr %69, align 4, !tbaa !11
  %71 = fadd float %70, %62
  store float %71, ptr %69, align 4, !tbaa !11
  call void @llvm.lifetime.end.p0(i64 8, ptr %18) #3
  call void @llvm.lifetime.end.p0(i64 8, ptr %17) #3
  call void @llvm.lifetime.end.p0(i64 4, ptr %16) #3
  br label %72

72:                                               ; preds = %61
  %73 = load i64, ptr %15, align 8, !tbaa !5
  %74 = add i64 %73, 1
  store i64 %74, ptr %15, align 8, !tbaa !5
  br label %26, !llvm.loop !15

75:                                               ; preds = %30
  br label %76

76:                                               ; preds = %75
  %77 = load i64, ptr %13, align 8, !tbaa !5
  %78 = add i64 %77, 1
  store i64 %78, ptr %13, align 8, !tbaa !5
  br label %20, !llvm.loop !16

79:                                               ; preds = %24
  ret void
}

attributes #0 = { nocallback nofree nosync nounwind willreturn memory(argmem: readwrite) }
attributes #1 = { nocallback nofree nosync nounwind speculatable willreturn memory(none) }
attributes #2 = { mustprogress nounwind uwtable "min-legal-vector-width"="0" "no-trapping-math"="true" "stack-protector-buffer-size"="8" "target-cpu"="x86-64" "target-features"="+cmov,+cx8,+fxsr,+mmx,+sse,+sse2,+x87" "tune-cpu"="generic" }
attributes #3 = { nounwind }

!llvm.module.flags = !{!0, !1, !2, !3}
!llvm.ident = !{!4}

!0 = !{i32 1, !"wchar_size", i32 4}
!1 = !{i32 8, !"PIC Level", i32 2}
!2 = !{i32 7, !"PIE Level", i32 2}
!3 = !{i32 7, !"uwtable", i32 2}
!4 = !{!"clang version 19.1.0 (git@github.com:llvm/llvm-project.git a4bf6cd7cfb1a1421ba92bca9d017b49936c55e4)"}
!5 = !{!6, !6, i64 0}
!6 = !{!"long", !7, i64 0}
!7 = !{!"omnipotent char", !8, i64 0}
!8 = !{!"Simple C++ TBAA"}
!9 = !{!10, !10, i64 0}
!10 = !{!"any pointer", !7, i64 0}
!11 = !{!12, !12, i64 0}
!12 = !{!"float", !7, i64 0}
!13 = distinct !{!13, !14}
!14 = !{!"llvm.loop.mustprogress"}
!15 = distinct !{!15, !14}
!16 = distinct !{!16, !14}


; Optimized IR (opt -passes='default<O3>'):
target datalayout = "e-m:e-p270:32:32-p271:32:32-p272:64:64-i64:64-i128:128-f80:128-n8:16:32:64-S128"
target triple = "x86_64-unknown-linux-gnu"

; Function Attrs: mustprogress nocallback nofree nosync nounwind speculatable willreturn memory(none)
declare float @llvm.fmuladd.f32(float, float, float) #0

; Function Attrs: mustprogress nofree norecurse nosync nounwind memory(argmem: readwrite) uwtable
define dso_local void @_ZN4Simd4Base30NeuralConvolutionForwardGemmNTEmmmPKfS2_Pf(i64 noundef %0, i64 noundef %1, i64 noundef %2, ptr nocapture noundef readonly %3, ptr nocapture noundef readonly %4, ptr nocapture noundef %5) local_unnamed_addr #1 {
  %.not = icmp eq i64 %0, 0
  %.not37 = icmp eq i64 %1, 0
  %or.cond = or i1 %.not, %.not37
  br i1 %or.cond, label %._crit_edge, label %.preheader.lr.ph.split.us

.preheader.lr.ph.split.us:                        ; preds = %6
  %.not38 = icmp eq i64 %2, 0
  br i1 %.not38, label %.preheader.us.preheader, label %.preheader.us.us.preheader

.preheader.us.us.preheader:                       ; preds = %.preheader.lr.ph.split.us
  %xtraiter = and i64 %2, 3
  %7 = icmp ult i64 %2, 4
  %unroll_iter = and i64 %2, -4
  %lcmp.mod.not = icmp eq i64 %xtraiter, 0
  br label %.preheader.us.us

.preheader.us.preheader:                          ; preds = %.preheader.lr.ph.split.us
  %min.iters.check = icmp ult i64 %1, 8
  %n.vec = and i64 %1, -8
  %cmp.n = icmp eq i64 %n.vec, %1
  br label %.preheader.us

.preheader.us.us:                                 ; preds = %.preheader.us.us.preheader, %._crit_edge32.split.us.us.us
  %.02433.us.us = phi i64 [ %48, %._crit_edge32.split.us.us.us ], [ 0, %.preheader.us.us.preheader ]
  %8 = mul i64 %.02433.us.us, %2
  %9 = getelementptr inbounds float, ptr %3, i64 %8
  %10 = mul i64 %.02433.us.us, %1
  %11 = getelementptr float, ptr %5, i64 %10
  br label %.lr.ph.us.us.us

.lr.ph.us.us.us:                                  ; preds = %._crit_edge.us.us.us, %.preheader.us.us
  %.02630.us.us.us = phi i64 [ 0, %.preheader.us.us ], [ %47, %._crit_edge.us.us.us ]
  %12 = mul i64 %.02630.us.us.us, %2
  %13 = getelementptr inbounds float, ptr %4, i64 %12
  br i1 %7, label %._crit_edge.us.us.us.unr-lcssa, label %.lr.ph.us.us.us.new

.lr.ph.us.us.us.new:                              ; preds = %.lr.ph.us.us.us, %.lr.ph.us.us.us.new
  %.029.us.us.us = phi i64 [ %37, %.lr.ph.us.us.us.new ], [ 0, %.lr.ph.us.us.us ]
  %.02528.us.us.us = phi float [ %36, %.lr.ph.us.us.us.new ], [ 0.000000e+00, %.lr.ph.us.us.us ]
  %niter = phi i64 [ %niter.next.3, %.lr.ph.us.us.us.new ], [ 0, %.lr.ph.us.us.us ]
  %14 = getelementptr inbounds float, ptr %9, i64 %.029.us.us.us
  %15 = load float, ptr %14, align 4, !tbaa !5
  %16 = getelementptr inbounds float, ptr %13, i64 %.029.us.us.us
  %17 = load float, ptr %16, align 4, !tbaa !5
  %18 = tail call float @llvm.fmuladd.f32(float %15, float %17, float %.02528.us.us.us)
  %19 = or disjoint i64 %.029.us.us.us, 1
  %20 = getelementptr inbounds float, ptr %9, i64 %19
  %21 = load float, ptr %20, align 4, !tbaa !5
  %22 = getelementptr inbounds float, ptr %13, i64 %19
  %23 = load float, ptr %22, align 4, !tbaa !5
  %24 = tail call float @llvm.fmuladd.f32(float %21, float %23, float %18)
  %25 = or disjoint i64 %.029.us.us.us, 2
  %26 = getelementptr inbounds float, ptr %9, i64 %25
  %27 = load float, ptr %26, align 4, !tbaa !5
  %28 = getelementptr inbounds float, ptr %13, i64 %25
  %29 = load float, ptr %28, align 4, !tbaa !5
  %30 = tail call float @llvm.fmuladd.f32(float %27, float %29, float %24)
  %31 = or disjoint i64 %.029.us.us.us, 3
  %32 = getelementptr inbounds float, ptr %9, i64 %31
  %33 = load float, ptr %32, align 4, !tbaa !5
  %34 = getelementptr inbounds float, ptr %13, i64 %31
  %35 = load float, ptr %34, align 4, !tbaa !5
  %36 = tail call float @llvm.fmuladd.f32(float %33, float %35, float %30)
  %37 = add nuw i64 %.029.us.us.us, 4
  %niter.next.3 = add i64 %niter, 4
  %niter.ncmp.3 = icmp eq i64 %niter.next.3, %unroll_iter
  br i1 %niter.ncmp.3, label %._crit_edge.us.us.us.unr-lcssa, label %.lr.ph.us.us.us.new, !llvm.loop !9

._crit_edge.us.us.us.unr-lcssa:                   ; preds = %.lr.ph.us.us.us.new, %.lr.ph.us.us.us
  %.lcssa.ph = phi float [ poison, %.lr.ph.us.us.us ], [ %36, %.lr.ph.us.us.us.new ]
  %.029.us.us.us.unr = phi i64 [ 0, %.lr.ph.us.us.us ], [ %37, %.lr.ph.us.us.us.new ]
  %.02528.us.us.us.unr = phi float [ 0.000000e+00, %.lr.ph.us.us.us ], [ %36, %.lr.ph.us.us.us.new ]
  br i1 %lcmp.mod.not, label %._crit_edge.us.us.us, label %.epil.preheader

.epil.preheader:                                  ; preds = %._crit_edge.us.us.us.unr-lcssa, %.epil.preheader
  %.029.us.us.us.epil = phi i64 [ %43, %.epil.preheader ], [ %.029.us.us.us.unr, %._crit_edge.us.us.us.unr-lcssa ]
  %.02528.us.us.us.epil = phi float [ %42, %.epil.preheader ], [ %.02528.us.us.us.unr, %._crit_edge.us.us.us.unr-lcssa ]
  %epil.iter = phi i64 [ %epil.iter.next, %.epil.preheader ], [ 0, %._crit_edge.us.us.us.unr-lcssa ]
  %38 = getelementptr inbounds float, ptr %9, i64 %.029.us.us.us.epil
  %39 = load float, ptr %38, align 4, !tbaa !5
  %40 = getelementptr inbounds float, ptr %13, i64 %.029.us.us.us.epil
  %41 = load float, ptr %40, align 4, !tbaa !5
  %42 = tail call float @llvm.fmuladd.f32(float %39, float %41, float %.02528.us.us.us.epil)
  %43 = add nuw i64 %.029.us.us.us.epil, 1
  %epil.iter.next = add i64 %epil.iter, 1
  %epil.iter.cmp.not = icmp eq i64 %epil.iter.next, %xtraiter
  br i1 %epil.iter.cmp.not, label %._crit_edge.us.us.us, label %.epil.preheader, !llvm.loop !11

._crit_edge.us.us.us:                             ; preds = %.epil.preheader, %._crit_edge.us.us.us.unr-lcssa
  %.lcssa = phi float [ %.lcssa.ph, %._crit_edge.us.us.us.unr-lcssa ], [ %42, %.epil.preheader ]
  %44 = getelementptr float, ptr %11, i64 %.02630.us.us.us
  %45 = load float, ptr %44, align 4, !tbaa !5
  %46 = fadd float %.lcssa, %45
  store float %46, ptr %44, align 4, !tbaa !5
  %47 = add nuw i64 %.02630.us.us.us, 1
  %exitcond41.not = icmp eq i64 %47, %1
  br i1 %exitcond41.not, label %._crit_edge32.split.us.us.us, label %.lr.ph.us.us.us, !llvm.loop !13

._crit_edge32.split.us.us.us:                     ; preds = %._crit_edge.us.us.us
  %48 = add nuw i64 %.02433.us.us, 1
  %exitcond42.not = icmp eq i64 %48, %0
  br i1 %exitcond42.not, label %._crit_edge, label %.preheader.us.us, !llvm.loop !14

.preheader.us:                                    ; preds = %.preheader.us.preheader, %._crit_edge32.split.us35
  %.02433.us = phi i64 [ %60, %._crit_edge32.split.us35 ], [ 0, %.preheader.us.preheader ]
  %49 = mul i64 %.02433.us, %1
  %50 = getelementptr float, ptr %5, i64 %49
  br i1 %min.iters.check, label %scalar.ph.preheader, label %vector.body

vector.body:                                      ; preds = %.preheader.us, %vector.body
  %index = phi i64 [ %index.next, %vector.body ], [ 0, %.preheader.us ]
  %51 = getelementptr float, ptr %50, i64 %index
  %52 = getelementptr i8, ptr %51, i64 16
  %wide.load = load <4 x float>, ptr %51, align 4, !tbaa !5
  %wide.load47 = load <4 x float>, ptr %52, align 4, !tbaa !5
  %53 = fadd <4 x float> %wide.load, zeroinitializer
  %54 = fadd <4 x float> %wide.load47, zeroinitializer
  store <4 x float> %53, ptr %51, align 4, !tbaa !5
  store <4 x float> %54, ptr %52, align 4, !tbaa !5
  %index.next = add nuw i64 %index, 8
  %55 = icmp eq i64 %index.next, %n.vec
  br i1 %55, label %middle.block, label %vector.body, !llvm.loop !15

middle.block:                                     ; preds = %vector.body
  br i1 %cmp.n, label %._crit_edge32.split.us35, label %scalar.ph.preheader

scalar.ph.preheader:                              ; preds = %middle.block, %.preheader.us
  %.02630.us34.ph = phi i64 [ 0, %.preheader.us ], [ %n.vec, %middle.block ]
  br label %scalar.ph

scalar.ph:                                        ; preds = %scalar.ph.preheader, %scalar.ph
  %.02630.us34 = phi i64 [ %59, %scalar.ph ], [ %.02630.us34.ph, %scalar.ph.preheader ]
  %56 = getelementptr float, ptr %50, i64 %.02630.us34
  %57 = load float, ptr %56, align 4, !tbaa !5
  %58 = fadd float %57, 0.000000e+00
  store float %58, ptr %56, align 4, !tbaa !5
  %59 = add nuw i64 %.02630.us34, 1
  %exitcond43.not = icmp eq i64 %59, %1
  br i1 %exitcond43.not, label %._crit_edge32.split.us35, label %scalar.ph, !llvm.loop !18

._crit_edge32.split.us35:                         ; preds = %scalar.ph, %middle.block
  %60 = add nuw i64 %.02433.us, 1
  %exitcond44.not = icmp eq i64 %60, %0
  br i1 %exitcond44.not, label %._crit_edge, label %.preheader.us, !llvm.loop !14

._crit_edge:                                      ; preds = %._crit_edge32.split.us.us.us, %._crit_edge32.split.us35, %6
  ret void
}

attributes #0 = { mustprogress nocallback nofree nosync nounwind speculatable willreturn memory(none) }
attributes #1 = { mustprogress nofree norecurse nosync nounwind memory(argmem: readwrite) uwtable "min-legal-vector-width"="0" "no-trapping-math"="true" "stack-protector-buffer-size"="8" "target-cpu"="x86-64" "target-features"="+cmov,+cx8,+fxsr,+mmx,+sse,+sse2,+x87" "tune-cpu"="generic" }

!llvm.module.flags = !{!0, !1, !2, !3}
!llvm.ident = !{!4}

!0 = !{i32 1, !"wchar_size", i32 4}
!1 = !{i32 8, !"PIC Level", i32 2}
!2 = !{i32 7, !"PIE Level", i32 2}
!3 = !{i32 7, !"uwtable", i32 2}
!4 = !{!"clang version 19.1.0 (git@github.com:llvm/llvm-project.git a4bf6cd7cfb1a1421ba92bca9d017b49936c55e4)"}
!5 = !{!6, !6, i64 0}
!6 = !{!"float", !7, i64 0}
!7 = !{!"omnipotent char", !8, i64 0}
!8 = !{!"Simple C++ TBAA"}
!9 = distinct !{!9, !10}
!10 = !{!"llvm.loop.mustprogress"}
!11 = distinct !{!11, !12}
!12 = !{!"llvm.loop.unroll.disable"}
!13 = distinct !{!13, !10}
!14 = distinct !{!14, !10}
!15 = distinct !{!15, !10, !16, !17}
!16 = !{!"llvm.loop.isvectorized", i32 1}
!17 = !{!"llvm.loop.unroll.runtime.disable"}
!18 = distinct !{!18, !10, !17, !16}


; Effective O3 passes: CorrelatedValuePropagationPass,GVNPass,GlobalOptPass,IndVarSimplifyPass,InferFunctionAttrsPass,InstCombinePass,InstSimplifyPass,JumpThreadingPass,LCSSAPass,LICMPass,LoopInstSimplifyPass,LoopLoadEliminationPass,LoopRotatePass,LoopSimplifyCFGPass,LoopSimplifyPass,LoopUnrollPass,LoopVectorizePass,PostOrderFunctionAttrsPass,ReassociatePass,SROAPass,SimplifyCFGPass,TailCallElimPass