Cluj-pestinsä jälkeen Costan ura jatkui lokakuussa 2012 AEL Limassolin peräsimessä. Kauden jälkeen hän siirtyi toisen kyproslaisseura Anorthosis Famagustan päävalmentajaksi. Tammikuussa 2014 Costa siirtyi Gabonin jalkapallomaajoukkueen peräsimeen. Costa luotsasi Gabonia Afrikan mestaruuskisoissa 2015, mutta joukkueen tie katkesi jo lohkovaiheeseen. Hän sai potkut maajoukkuevalmentajan tehtävistä marraskuussa 2016 vain kaksi kuukautta ennen maan isännöimien Afrikan mestaruuskisojen alkua.