于英文的法院一词「」与粤语的「葛」发音相近，最高法院大楼亦被俗称为「大葛楼」。法院启用初期仅设有3个法庭，曾经被批评是极大的浪费。当时法院由1名首席按察司和1名最高法院法官所主理，如任何人对他们其中一人的判决不服，则由二人组成合议庭进行上诉聆讯。香港日治时期，大楼被更改为香港宪兵部本部，并且加以兴建了拘问室等设施。香港重光后，法官人数大幅地增加，最高法院于1970年代额外兴建了隔间以容纳共7所法庭，但地方已经不敷应用，布政司设立的专责委员会遂于1975年接受法律界建议，决定于金钟用地兴建新的最高法院。