Krips nasceu em Viena, Áustria, irmão de Henry Krips, que mudou-se para a Austrália e foi o maestro chefe da Orquestra Sinfônica de Adelaide for vinte e três anos. Foi aluno de Eusebius Mandyczewski e Felix Weingartner, e de 1921 até 1924 serviu como assistente de Weingartner na Viena Volksoper e como maestro do coro. Posteriormente se tornou diretor musical da orquestra em Karlsruhe de 1926 até 1933 - ano em que retornou para Viena como o maestro residente da Volksoper. Também se tornou professor da Academia de Finas Artes de Viena em 1935. Conduziu regularmente no Festival de Salzburgo entre 1935 e 1938. Em 1938, com a anexação da Áustria pelos nazistas, Krips foi forçado a deixar seu país. Krips era um católico romano, mas por seu pai ter sido judeu ele havia sido excluído de toda a atividade musical no país). Mudou-se para Belgrado, onde trabalhou por um ano com a Ópera de Belgrado e com a Filarmônica de Belgrado, até a Jugoslávia se envolver com a Segunda Guerra Mundial.