I 1948 ble Breker under avnazifiseringen]av Tyskland dømt som «medløper» på grunn av sin fremskutte rolle og privilegerte stilling i nazitiden. Mange mente at dette var urimelig, ettersom han flere ganger hadde engasjert seg til fordel for kunstnere som regimet hadde forfulgt, som Pablo Picasso (1881–1973) og Peter Suhrkamp (1891–1959). I 1950 vendte han tilbake til Düsseldorf og var med på gjenoppbyggingen av byen som arkitekt.