Im Oktober 1945 wurde Hoffmann in das Zellengefängnis des Internationalen Militärgerichtshofs nach Nürnberg verlegt, wo er seine Archivbestände ordnen musste, um so Beweisdokumente für die Nürnberger Kriegsverbrecherprozesse zu sichern. Im Januar 1946 wurde das Entnazifizierungsverfahren gegen den „Leibfotografen“ und engen Freund Hitlers in München eröffnet. Hoffmann wurde zunächst als Hauptschuldiger (Gruppe I) eingestuft, Hoffmanns Professorentitel wurde annulliert; es gelang ihm jedoch immer wieder, gegen die Entscheidung des Gerichts, das eine Freiheitsstrafe von zehn Jahren verhängt hatte, Rechtsmittel einzulegen. Schließlich wurde er zu vier Jahren Haft und zur Konfiszierung seines gesamten Vermögens verurteilt, welches 1943 auf sechs Millionen Reichsmark geschätzt wurde und allein 278 Kunstwerke enthielt. Nach seiner Entlassung aus der Haft im Jahre 1950 siedelte er sich in dem Dorf Epfach an, rund 80 Kilometer südwestlich von München. In der Sowjetischen Besatzungszone wurden sämtliche Schriften und Bildbände Hoffmanns auf die Liste der auszusondernden Literatur gesetzt.