Yamada được phong hàm Đại tướng vào năm 1940, sau đó được triệu hồi về Nhật Bản tham gia vào Cơ quan Thanh tra Huấn luyện Quốc phòng từ 1940-1944. Trong thời gian này, ông còn là thành viên của Hội đồng chiến tranh tối cao. Tháng 7 năm 1944, ông trở thành chỉ huy của đạo quân Quan Đông và là vị chỉ huy cuối cùng của đạo quân này. Tuy nhiên, ông nhanh chóng đề nghị Tổng hành dinh Lục quân rằng sẽ không thể giữ được biên giới với Liên Xô với các lực lượng sẵn có. Sau đó, không nhận được tiếp viện từ Nhật, Yamada đã cho tổ chức một số lượng lớn những người đi quân dịch và tự nguyện không được huấn luyện nhiều thành 8 sư đoàn bộ binh và 7 lữ đoàn bộ binh mới. Khi Quân đội Xô Viết tấn công Mãn Châu ngày 9 tháng 8 năm 1945, các lực lượng của Yamada đã bị đánh bại chỉ trong vài ngày. Sáng ngày 19 tháng 8, khi Hồng quân Liên Xô nhảy dù xuống Trường Xuân chiếm Bộ tư lệnh đạo quân Quan Đông, Yamada cùng toàn bộ tư lệnh đã cúi đầu trao kiếm làm lễ đầu hàng.