Dagens navn kommer kommer fra engelsk wood (tre) og navnet er etter alt drivtømmeret som er å fine langs strendene i fjorden. Et nederlandsk kart fra 1710 er tidligste bruk av navnet, det er der oppgitt som Hout Bay, hvor hout er tre (wood) på nederlandsk. Woodfjorden var før dette kjent av nederlandske hvalfangere som , og kaltes av Fotherby i 1614.