Pipin var den andre sønnen til Karl den store og hans andre hustru Hildegard. Han ble døpt Karloman i Roma, men da hans eldre bror Pipin (kalt for pukkelryggen grunnet en skavank) forrådte sin far og ble forvist, ble det kongelige navnet Pipin (navnet på hans bestefar) gitt til Karloman. Etter at Lombardia i nordlige Italia ble erobret i 781 ble Pipin kronet av pave Hadrian I med langobardenes tradisjonelle jernkrone (tradisjonen hevdet at et jernbånd på innsiden var hamret ut av en nagl fra Kristi kors), på italiensk hetende , og styrte de italienske besittelsene under sin fars autoritet.