籍广东开平，1907年7月10日生于香港，父亲名关奕周（音译）。关祖尧早年曾居澳门，后来返港入读拔萃男书院，毕业后前赴英国伦敦大学大学学院，其后取得法律荣誉学位毕业。毕业后关祖尧曾短暂在英国的律师事务所工作，1931年5月在英国取得执业律师资格，同年又在香港取得执业律师资格。关祖尧与简悦强爵士同为拔萃男书院及伦敦大学校友，早于1930年代已经认识，两人后来亦一同在立法局与行政局供职。返港后关祖尧的事业得到很大的发展，他生前为关祖尧律师事务所高级合伙人、另外又担任恆生银行、香港钢管公司、银联保险公司及工商