Brian Wilsons far, musikeren Murry Wilson, hadde store forventninger til sin førstefødte. Allerede da Brian Wilson var et år gammel, mente faren å kunne se at gutten hadde musikalsk talent. Med forventningene kom også et visst press, og Brian Wilson har senere forklart han hadde et ambivalent forhold til faren. Samtidig som han hjalp og støttet Brian Wilson og brødrene, kunne han ha et uberegnelig temperament, og var av og til voldelig. Brian Wilson er nesten døv på høyre øre, og det er usikkert av hvilken grunn. Det finnes tre hovedteorier om dette; at han ble født med dårlig hørsel, eller at han fikk et kraftig slag under en slåsskamp med en nabogutt, mens Brian Wilson selv har fortalt en historie om at hans far slo ham og forårsaket dette.