Denne perioden var en tøff tid for McCartney. Han ville ikke at gruppa skulle oppløses, men måtte innse at ingen kunne holde de fire individene sammen lenger. Han trakk seg derfor tilbake med sin kone Linda McCartney og bosatte seg på en gård i Skottland. Med hjelp fra kone og barn kom Paul seg gjennom den vanskelige perioden og begynte å skrive låter til sitt første soloalbum.