50号的纳粹党旧总部显得过于狭小。1930年4月，纳粹党财务秘书Franz Xaver Schwarz从一位英国商人的寡妇Elizabeth Stefanie Barlow中买下了褐宫的建筑，5月26日成交，共计805,864马克。这一资金是由企业家弗利茨·蒂森提供的，建筑师Paul Troost将其从别墅改造成办公室建筑。希特勒和他亦将建筑风格改为古典风格的，反现代主义的建筑。1931年1月1日，建筑正式启用。希特勒在他办公室桌旁安置了一幅真人大小的亨利·福特画像，这是因为福特和他欣赏彼此的成就。