Woolner ble født i Hadleigh i Suffolk. Han gikk i lære hos billedhoggeren William Behnes, og fra 1843 stilte han ut sine verker i Det engelsk kunstakademiet (Royal Academy). Hans klassiske tilbøyeligheter var problematisk å forsone med den pre-rafaelittiske middelalderen, men hans egen overbevisning om at kunsten var grunnlagt på omfattende studier av naturen var sammenfallende med gruppens mål. Woolner var således en av de opprinnelige grunnleggerne av Broderskapet.