Brian Wilson var quarterback på skolens lag i Amerikansk fotball, han spilte baseball og deltok i terrengløp. Til tross for at han lyktes innen sport, var det musikk han var mest interessert i. Da Brian Wilson fylte 16 år fikk han en båndopptaker av foreldrene i gave, og denne ble flittig benyttet til innspillinger sammen med brødrene.