Woodward har to sønner som har blitt suksessfulle skuespillere, Tim Woodward og Peter Woodward. I løpet av 1980-tallet vekket han oppsikt ved å forlate sin hustru for skuespilleren Michele Dotrice, datteren til hans samtidige, Roy Dotrice. Han har også en skuespillerdatter, Sarah, med sin første hustru, og ytterligere en datter, Emily, med Michele Dotrice.