7日早上如常到督宪府出席行政局会议，岂料在会议期间突然急性心脏病病发，随即被送往玛丽医院进行抢救，可惜返魂乏术，最后在上午十时病逝，终年64岁。他死后，行政局首席华人非官守议员之职由简悦强爵士接替。关祖尧猝死后，各界及立法局皆表哀悼，而简悦强爵士、祈德尊、冯秉芬爵士、高登爵士、及钟士元等人亦成立了「关祖尧爵士治丧委员会」，安排其殓葬事宜。港督麦理浩爵士亦发表了悼辞，对其加以表扬到：据了解，由于工作十分繁重，关祖尧死前一段时间已有高血压症状，因此猝死一事或许事前已有预兆。
家庭