З 1 червня 1934 року — начальник 15-ї (ветеринарної) військової інспекції і голова Наукового сенату з питань військової ветеринарії. Зіграв важливу роль у створенні ветеринарної служби вермахту, включаючи відкриття Військової ветеринарної академії в Ганновері (1935), розширення служби лікування коней і створення ветеринарних аптечок. З 26 серпня 1939 року — одночасно керівник військової ветеринарної інспекції ОКВ. Влітку 1940 року одночасно очолив щойно створену кінну інспекцію ОКГ і став ветеринарним інспектором 3-ї інспекції (верхова їзда і водіння). Після Липневої змови Шульце заарештували працівники гестапо, оскільки він відвідував елітний кінний клуб разом із багатьма учасниками змови, проте через 10 днів відпустили. Сам Шульце в 1946 році на допиті сказав американським офіцерам, що причиною арешту була його дружба з Клаусом фон Штауффенбергом, Фрідріхом Ольбріхтом і Еріхом Гепнером.