Det første palasset på stedet ble reist i 1499–1508. Arkitekt var italieneren Aloisio da Milano. I 1635–1636 sørget den første tsaren i Romanov-dynastiet, Mikhail, for å få utvidet palasset med to ekstra etasjer. Fire russiske mesterbyggere hadde ansvaret for arbeidet. De fire var Bazhen Ogurtsov, Antip Konstantinov, Trefil Sjarutin og Larion Usjakov.