Groban har jødisk-amerikansk far (av polsk-ukrainske immigranter) og norsk-amerikansk mor. Hans norske tippoldemor kom fra Toten. Faren konverterte til kristendommen da han giftet seg med moren hans. Josh debuterte med sang i 7. klasse, men satte karrieren på vent for å forbedre karakterene sine.