Zbudowany w latach 1893-1895 według projektu architekta hr. Tadeusza Rostworowskiego, przez kilka lat właściciela, oraz inżyniera J. Parczewskiego przy ówczesnej ul. Świętojerskiej 20, w okresie międzywojennym ul. A. Mickiewicza, obecnie pr. Giedymina. Nad budynkiem dominował św. Jerzy na rumaku, i stąd, oraz od nazwy ulicy, jego nazwa. Pełnił rolę hotelu do 1940. Został wysadzony przez Niemców w czasie prowadzonej przez AK Operacji „Ostra Brama” (w lipcu 1944). Odbudowany w 1950 mieścił hotel "Vilnius". Od 2005 pełni funkcję apartamentowca jako "Grand Duke Palace".