Gonçalves syntyi Sintrassa Lissabonin lähellä vauraaseen keskiluokkaiseen perheeseen. Hänen isänsä oli ammattimainen jalkapalloilija ja myöhemmin valuutanvaihtaja. Gonçalves valmistui Portugalin sotilasakatemiasta pioneeriksi vuonna 1942. Hän sai 1946 luutnantin arvon ja oli myöhemmin opettajana sotilasakatemian silta- ja tieosastolla. António de Oliveira Salazarin oikeistodiktatuurin aikana hän kuului toisinajattelevien upseerien piiriin, joka suunnitteli vuonna 1959 nostavansa presidentinvaalit hävinneen kenraali Humberto Delgadon valtaan kaappauksella, mutta hankkeesta luovuttiin. Gonçalves palveli 1960-luvulla ansiokkaasti taisteluissa Angolan ja Mosambikin vapautusliikkeitä vastaan. Hän yleni vuonna 1967 everstiluutnantiksi. Juuri pitkään jatkuneet tappiolliset Portugalin siirtomaasodat kypsyttivät upseeriston kääntymään diktatuuria vastaan.