Fue sustituido en el siglo XV por un edificio de piedra que acogía los servicios administrativos del duque de Brabante, es decir, el despacho del recaudador general del Señorío de Brabante; por esta razón, se la llamó Casa del Duque, y cuando dicho duque fue coronado rey de España, pasó a denominarse Casa del Rey.