William FitzOsbern giftet seg først med Adeliza de Tosny, datter av Roger I av Tosny. Man har antatt at også giftet seg med hertuginne Richilde kort tid før slaget ved Cassel, men det er uklart. I sin tid i England bodde han hovedsakelig på Carisbrooke Castle.