Jméno má svůj původ ve starém orientálním zvyku, podle nějž vládce vyhlašoval svá rozhodnutí u brány svého paláce; takováto brána (či přeneseně vladařův palác samotný) pak byla zvána Vysoká. Zvyk byl praktikován již v Byzantské říši a od doby Orhana I. byl přejat i Osmany. Jméno nesl od první poloviny 14. století palác v Burse, po dobytí Konstantinopole v roce 1453 a přesunutí hlavního města Osmanské říše jej převzala tamější Imperiální brána (), která vedla na vnější nádvoří paláce Topkapi. Vzhledem k tomu, že západní diplomaté byli přijímáni u této brány a francouzština byla tehdy hlavním diplomatickým jazykem, bylo francouzské označení Vysoké brány přejato i ostatními státy a používáno nejen pro bránu a palác, ale přeneseně i pro celou Osmanskou říši či její vládu.