Wahlberg er nest yngst av ni barn og har irsk, engelsk og svensk opphav. Han er bror til skuespilleren Mark Wahlberg.