其从别墅改造成办公室建筑。希特勒和他亦将建筑风格改为古典风格的，反现代主义的建筑。1931年1月1日，建筑正式启用。希特勒在他办公室桌旁安置了一幅真人大小的亨利·福特画像，这是因为福特和他欣赏彼此的成就。
使用.希特勒、汉斯·法郎克、海因里希·希姆莱、赫尔曼·戈林、鲁道夫·赫斯、菲力普·鲍赫勒和Franz Xaver Schwarz在褐宫都有办公室，此地亦是放置血旗（啤酒馆政变中使用的旗帜）的地方。1943年10月及其后的盟军空袭中，褐宫被炸毁。1947年废墟被清理留空。