I 1936, dels som forberedelse til utstillingen «Gebt mir vier Jähre Zeit» («Gi meg fire år», Hitlers slagord fra 1933), fikk Willrich i oppdrag av propagandaminister Joseph Goebbels å undersøke muligheten for å fjerne kunst fra statlige kunstsamlinger. I april 1937 forsøkte Willrich sammen med Walter Hansen å fjerne modernistisk kunst fra nasjonalgalleriet i Berlin samt gallerier i Dresden. Eberhard Hanfstaengl, direktør for nasjonalgalleriet, stanset fremstøtet fra Willrich som ikke hadde skikkelig fullmakt for tiltaket. Hanfstaengl fikk i juli 1937 permisjon på ubestemt tid. Tidlig i 1937 sørget Goebbels for propagandautstillingen «Gebt mir vier Jähre Zeit». Utstillingen ble organisert av Willrich og Walter Hansen, og skulle vise frem hva regimet hadde oppnådd. Utstillingen hadde en liten avdeling bildende kunst.