Według legendy podczas bitwy grochowskiej w lutym 1831 dworek miał być kwaterą gen. Józefa Chłopickiego (w rzeczywistości budynek został wzniesiony po powstaniu listopadowym). Legendę utrwala w nazwie pobliska ulica Kwatery Głównej.