Langt verre var det da sangene fra oppholdet i Rishikesh skulle spilles inn til -albumet. Etter mye intern kniving og krangling bestemte Starr seg for to ting: Han følte at han ikke spilte bra nok, og at de tre hadde et samhold han ikke var del av. Som resultat av dette dro han vekk 22. august 1968. Han opplevde at han senere forsto at alle de andre hadde følelsen av at de tre andre hadde en kjemi de selv ikke var med på. De andre tre sendte rosende telegrammer til ham og ba ham komme tilbake, og da han først kom, hadde Harrison dekket stolen hans med blomster. Perioden borte hadde Starr brukt til å ta seg en ferie på yachten til Peter Sellers, og det var der han skrev «Octopus's Garden». Det ble imidlertid «Don't Pass Me By» som ble hans første egenkomponerte låt til å bli gitt ut, og den ble skrevet i 1964.