Han ble født i Ravenna i Italia, og var yngste sønn i en nokså fattig adelsfamilie. Foreldrene døde tidlig, og han ble tatt hånd om av en eldre bror, som mishandlet ham og brukte ham som ulønnet tjener og griserøkter. En annen bror, som var erkeprest i Ravenna, adopterte ham etter en tid, og sørget for at han fikk en god utdannelse. Denne broren het Damian, og Peter tok dette navnet som sitt etternavn.