Chamberlain ble født i London og var sønn av en fremgangsrik skomaker og fabrikkeier som også het Joseph (1796–1874). Han ble utdannet ved University College School (fra 1850-1852). I 16-årsalderen startet han som lærling i skomakerfirmaet og da han ble 18, ble han sendt til Birmingham, der han arbeidet i sin onkels skruefabrikk, «Nettlefolds», som hans far hadde investert i. Sammen med Joseph Nettlefold var Chamberlain med å bygge ut selskapet, som snart ble kjent som «Nettlefold and Chamberlain», til å bli en kommersiell suksess og da Chamberlain i 1874 forlot selskapet, eksporterte det sine produkter til USA, andre land i Europa, India, Japan, Canada og Australia.