Brown valgte å gi ut boken «The Love You Make: An Insider's Story of The Beatles» i 1983. Her ble flere skandaler tatt opp, som at Brian Epstein hadde seksuell omgang med John Lennon, at George Harrison forførte Ringo Starrs første kone Maureen, at McCartney hadde en voksen uekte sønn og at John var en tung bruker av rusmidler, som gikk gjennom heroinavhengighet med Yoko Ono. Dette falt særlig Linda McCartney tungt for brystet, og hun og Paul leste aldri boken, men brant den og brøt kontakt med Brown.