Grefwe de Saint-Bris , Guvernöri