Lapsuutensa Passos Coelho vietti Portugalin Länsi-Afrikassa (nyk. Angola), jossa hänen isänsä toimi lääkärinä. Vuoden 1974 neilikkavallankumouksen jälkeen ja Portugalin entisen siirtomaan itsenäistyttyä Angolan kansantasavallaksi Passos Coelhon perhe palasi Eurooppaan ja asettui Vila Realiin Portugalin pohjoisosiin, missä Passos Coelho kävi "Liceu Nacional Camilo Castelo-Branco" -nimistä koulua.