Da København brant i 1728 ble de fleste husene rundt Ulfeldts Plads flammenes rov og derfor er de fleste av husene man ser i dag fra tiden etter. På folkemunne ble husene ofte kalt «ildebrandshuse». Husene som ligger på vestsiden av torvet ble oppført etter bombardementet i 1807.