Lippi var sønn av slakteren Tommaso og konen hans. Han ble oppdratt av tanten Mona Lapaccia fordi foreldrene døde da han var barn.