Trong Chiến dịch Bagration, Mekhlis được bổ nhiệm làm Ủy viên Hội đồng quân sự Phương diện quân Byelorussia 2 với hàm Trung tướng. Tư lệnh Phương diện quân là Thượng tướng I. Ye. Petrov, người anh hùng trong các trận bảo vệ Sevastopol, Kavkaz và các chiến dịch giải phóng Krym. Ngay sau khi tiếp nhận Sở chỉ huy mới tại Mstislavl, giữa Mekhlis và Petrov đã xảy ra hục hặc. Trong khi Petrov và Tham mưu trưởng, Trung tướng A. N. Bogolyubov dốc sức xây dựng kế hoạch tấn công cho phương diện quân thì Mekhlis lại "ngồi lê đôi mách" với Stalin rằng Petrov không có khả năng chỉ huy, rằng ông có vẻ bệnh hoạn và hay lui tới các bác sĩ làm mất thì giờ. Điều khôi hài là trong khi tại chiến dịch bán đảo Kerch, những lời buộc tội vô căn cứ này bị Tổng tư lệnh Tối cao chỉ trích thẳng tay, thì lần này Stalin chỉ cho là tính Mekhlis vốn "xấu" như thế. Vì lợi ích của chiến dịch, không thể để một bộ máy chỉ huy một phương diện quân làm việc trong tình trạng mâu thuẫn, ngày 6 tháng 6 năm 1944, Stalin chỉ thị triệu hồi Petrov về Đại bản doanh. Ngày 5 tháng 8 năm 1944, Petrov được cử làm Tư lệnh Phương diện quân Ukraina 4 (thành lập lần 2 trên hướng Carpath). Người thay thế Petrov là Thượng tướng G. F. Zakharov, một vị tướng có kinh nghiệm chỉ huy thành công tại Tập đoàn quân cận vệ 2 ở mặt trận Krym. Tuy nhiên, Mekhlis cũng không ở Phương diện quân này lâu. Tính tình khắc nghiệt, thô bạo với đồng đội của ông này đã khiến các cán bộ quân sự của Phương diện quân không hài lòng và tháng 7 năm 1944, Mekhlis bị điều về Đại bản doanh. Người thay thế ông ta là trung tướng N. E. Subbotin, một nhà giáo dục quân sự thực thụ đã giữ cương vị này đến hết cuộc chiến tranh.