Så sluttet Lippi å gå i kloster, men han var fortsatt troende. I 1439 skrev han at han er den fattigste munken i Firenze, og opptatt med seks gifteklare nieser. I 1452 fikk han jobben som kapellan i nonneklosteret i Johanneskirken i Via San Gallo i Firenze. I 1457 ble han bestyrer for kirken San Quirico i Legnaia, noe som tidvis ga ham god inntekt, selv om han skal ha slitt med dårlig råd fordi han stadig brukte penger. Han skal delvis ha ført et uregelmessig og omflakkende liv. Fra juni 1456 var Lippi kapellan ved Santa Margherita-klosteret i Prato, som ligger nær Firenze. Her kom han i forhold til nonnen Lucrezia Buti, som han bortførte til eiendommen sin. De fikk sønnen Filippino.