龙朔年间，四迁为左相。龙朔二年（662年）冬十月，其子许自然因猎射杀人，圉师隐而不奏，又为李义府所排挤，许敬宗乘机奏说：“人臣如此，罪不容诛。”十一月，下狱。次年三月，贬官虔州（今江西赣州）刺史。后贬为相州刺史（今河南临漳县，又一说是贬襄州）。司宪杨德裔因徇私被流放庭州。圉师在相州时，政存宽惠，曾写《清白诗》让罪人改过自新。离开相州后，当地百姓立碑纪念之。上元中，再迁户部尚书。仪凤四年（679年）卒，谥曰“简”，并陪葬干陵。有子许文思。《新唐书·宰相世系三》则称他有三子许自牧、许自遂和泽州刺史许