No obstante, gracias a sus largos años de servicio al nazismo, Frick ejerció como ministro sin cartera hasta agosto de 1943, cuando perdió el favor de Hitler debido a las últimas rivalidades que mantenía con Himmler.