Han ble født i Trujillo i den spanske provinsen Extremadura som uekte sønn av infanterikapteinen Gonzalo Pizarro og Francisca González, en fattig kvinne fra enkle kår.