政立法两局当然官守议员。与西太平洋高级专员公署供职的时候一样，他的港督上司正好也是刚于1964年4月才上任的戴麟趾爵士。祁济时同年5月在香港作短暂逗留后，于9月正式上任。与戴斯德不同，祁济时长年在西非供职，未曾出仕香港，只曾在1960年访港旅游，因此被市政局民选议员叶钖恩等人质疑他对香港缺乏认识，政府内部对其空降也有微言。虽然如此，他很快就融入香港的社交圈子，并掌握和了解香港各方面的事务。应对连串暴动是祁济时在辅政司任内最大的考验。在1966年，中国大陆爆发文化大革命，使位处中国边陲的香港也变得日益动盪