Moderne biografer tror ikke helt på Vasaris romantiske fortellinger om Filippo Lippi. Vasari er den eneste som skriver at han skal ha besøkt Ancona og Napoli, der han skal ha blitt tatt av pirater og satt til slaveri, men ble løslatt fordi han var så dyktig til å tegne portretter. Ut fra denne fortellingen som ett eksempel, er det grunn til å tro at perioden fra 1431 til 1437 ikke er dokumentert klart nok.