Sin embargo, desde aproximadamente 1892 empezó a percibirse una creciente antipatía del emperador hacia el edificio, al que calificó como "súmmum del mal gusto" y "creación totalmente fallida", y al que denostaba en privado llamándolo "Reichsaffenhaus" (casa de monos del Imperio).