Hugh de Puiset var kjent for sin ekstravagant smak og overdådig livsstil, foruten også hans besittelse av et stort bibliotek. Han hadde en sønn, Henry, som var en av gislene som ble krevd av Longchamp i 1190. En annen sønn var Hugh, som siden ble kansler for kong Filip II August av Frankrike. Både Henry og Hugh var sønner av biskopens elskerinne gjennom mange år, Alice de Percy. Alice kan også ha vært mor til ytterligere to av biskopens sønner, William, erkediakon av Northumberland, og Burchard, erkediakon av Durham og finansminister av York. Han hadde et antall andre elskerinner, men Alice var den ene som var mest offentlig, såpass at det ble betraktet som upassende, og som mest av alt minnet om et ekteskap. Det var for øvrig ikke uvanlig at prester holdt seg med en kvinne på denne tiden. Kravet var at de ikke giftet seg.