如此，罪不容诛。”十一月，下狱。次年三月，贬官虔州（今江西赣州）刺史。后贬为相州刺史（今河南临漳县，又一说是贬襄州）。司宪杨德裔因徇私被流放庭州。圉师在相州时，政存宽惠，曾写《清白诗》让罪人改过自新。离开相州后，当地百姓立碑纪念之。上元中，再迁户部尚书。仪凤四年（679年）卒，谥曰“简”，并陪葬干陵。有子许文思。《新唐书·宰相世系三》则称他有三子许自牧、许自遂和泽州刺史许自正。李白娶许圉师的孙女许氏（名不详）。