开埠初期至八十年代初港督的权力很大,是英国皇室在香港的全权代理人。港督之下有行政局和立法局:行政局是协助港督决策的机构,所有重要决策均由港督会同行政局作出;立法局名曰立法,但其实只是港督的咨询机构,因所有立法局议员都是由政府委任,所以政府在立法时有绝对的控制权。由于当时港督有权力去委任行政局及立法局的议员以及法官,加上港督也是行政局及立法局的当然主席,因此港督以政府首长之名控制行政、立法及司法权力,并非三权分立。到殖民时代后期,港督只保留政府首长一职;立法会主席由间接民选产生的议员选出;但首席大法官依然由港督委任。此制度基本上于香港主权移交后依然保留。
早期香港政治制度由英国人全权控制,到了1884年,首位华人(伍廷芳)被委任为立法局议员;至1926年,首位华人(周寿臣)被委任为行政局议员。
在太平洋战争中,英、华共同抗日而产生出本土归属感。香港重光后,总督杨慕琦于1946年5日为争取香港市民对英国殖民统治的支持;同时洗擦统治不善令殖民地沦陷的耻辱,杨慕琦于同年8月28日发表一份政治制度改革方案,史称《杨慕琦计划》。计划内容主要是建立一个由民选议员组成的香港议会,但由于英国内部担心此举将会选出亲中反英的议会,故计划并未得到广泛认同。