Выходец из скромной семьи, он начал военную карьеру в кавалерии, одновременно окончив математический факультет Университета Порту, служил в португальских колониях, был одним из ведущих участников процесса интеграции Португалии в НАТО. Падение военного министра Жулиу Ботелью Мониша в 1961 году привело к смещению Кошты Гомиша с высокого поста в военном министерстве. В течение 1960-х годов он руководил антипартизанскими операциями португальских войск поочерёдно в Мозамбике и Анголе, а в 1972 году возглавил Генеральный штаб армии.