Palasset var de osmanske sultanenes residens og deres rikes administrative sentrum fra 1465 til 1853. Byggingen ble innledet i 1459 på ordre fra sultan Mehmet II, og den opprinnelige delen av palasset stod klart omkring år 1465. Senere sultaner har så påbygd palasset suksessivt og ved slutten av 1500-tallet hadde det vokst til sin nåværende størrelse. Palasset er et omfattende kompleks av bygninger med flere sammenlenkede gårdsplasser. Palasset fungerte som en by i byen med opp til 4000 personer. Her var moské, bakeri, sykehus, myntverk, hager og et stort harem. Dets sammenlagte areal var rundt 700 000 m².