Das im Jahre 1880 nach den Plänen von Adolf Feszty im Neorenaissancestil erbaute Palais war ursprünglich in jüdischem Besitz. Es diente von 1937 bis 1944 als Sitz und Gefängnis der ungarischen Pfeilkreuzlerpartei von Ferenc Szálasi, genannt das „Haus der Treue“ (Hűség háza). 1945 wurde es zunächst von der politischen Polizei (PRO) übernommen und dann zum Hauptquartier ihrer Nachfolgeorganisation, des kommunistischen Staatssicherheitsdienstes ÁVO beziehungsweise ÁVH. Während der stalinistischen Ära nutzte dieser es als Foltergefängnis. Durch schrittweisen Ausbau umfasste das Gefängnis im Endzustand den unterirdischen Bereich unter dem gesamten umgebenden Häuserblock. Nach dem Volksaufstand 1956 wurde es zum Zentrum des Kommunistischen Jugendverbandes "KISZ" umfunktioniert.