Зграда је изграђене још 1880. године. Користле су је "Крст стрела," десничарска политичка партија, која је у кратком периоду била на власти и тајна полиција Мађарске, која је била позната по својој бруталности. Децембра 2000. године, "Јавна фондација за истраживање централне и источноевропске историје и друштва" је купила зграду са циљем да отвори музеј, како би се увек сећали ових лоших периода мађарске историје. Током радова који су трајали годину дана, зграда на Андраши булевару, је комплетно реновирана и споља и изнутра. Унутрашњи дизајн, коначни изглед изложбеног простора и спољна фасада су дело архитекте Атиле Ковач. Реконструкција је претворила екстеријер зграде у нешто слично споменику. Црна екстериорна структура креира изглед музеја, који се у оштром контексту истиче у односу на остале зграде Андраши булевара.