I 1100 ble han utnevnt til biskop av Winchester av Henrik I. Året etter nektet erkebiskop Anselm av Canterbury å bispevie ham, ettersom han var innsatt av den verdslige makt. Giffard var vennlig innstilt overfor Anselm, og da han fikk tilbud om å bli bispeviet av erkebiskopen av York i 1103 nektet han dette. Han ble derfor forvist av kongen.