Som manager var han kontrollerende og hengte seg ofte opp i detaljer rundt bandets musikk og image. Dette, i tillegg til at han var voldelig mot sine sønner, gjorde at forholdet mellom bandet og ham ble stadig mer anstrengt. I 1964, under innspillingen av sangen «I Get Around», hadde bandet fått nok. Brian gikk bort til sin far og ga ham sparken som bandets manager.