在1961年5月，关祖尧获港督委任为行政局非官守议员，后在1966年5月取代利铭泽成为行政局首席华人非官守议员。在行政局供职期间，关祖尧曾身兼多项公职，当中包括贪污问题谘询委员会及赌博政策委员会等的主席，另外又任葛量洪奖学金委员会、禁毒谘询委员会和香港盲人辅导会等等的委员。关祖尧亦曾经出任房协副主席以及获委为保良局永远总理。至于在教育方面，关祖尧曾是香港大学、协恩中学及拔萃男书院的校董。在1961年6月，关祖尧等人获港督柏立基爵士委任到香港中文大学筹备委员会，并由关祖尧出任主席，为中大创校进行筹备工作。