Siden det etter hvert ble klart for alle, ikke minst ham selv, at han aldri ville bli noen god bassist, forlot han gruppen i Hamburg i 1961 for å vie seg til videre studier i malekunst og forloveden, Astrid Kirchherr. Det var Kirchherr som tok de første fotografiene av Beatles og formet deres visuelle stil i tiden i Hamburg. På de fleste fotografier fra denne tiden står han med ryggen til publikum.