Dal 1922 al 1937 fu professore all'Accademia di Belle Arti di Monaco. Le sue opere furono esposte alla Mostra d'arte degenerata, che fu organizzata a Monaco dai nazisti nel 1937. Da allora, i suoi dipinti e disegni ispirati al cristianesimo, influenzati ugualmente dall'impressionismo e dall'espressionismo, furono rimossi dai musei tedeschi e dalle collezioni pubbliche e/o distrutti. Kaspar fu anche costretto a ritirarsi dalla sua posizione di insegnante. Lo stesso anno (tuttavia alcune fonti affermano che l'anno fosse il 1944, dopo che la sua casa di Monaco fu distrutta durante un bombardamento), a causa dell'ostilità nazista, si stabilì con la sua famiglia a Brannenburg, dove verrà sepolto.