William Quarters foreldre var Michael og Ann (née Bennet) Quarter. Han var den fjerde av tre sønner, hans brødre var John, Walter og James. Walter og James ble også prester., men sistnevnte døde før William ble ordinert.