Kováč var utdannet økonom fra Bratislavas økonomiske universitet og var bankøkonom i kommunisttiden. Han var ansatt ved Státní banka československá og i andre banker. Som sådan tilbragte han noen år i London og på Cuba i 1960-årene. Under «normaliseringen», det vil si årene etter Prahavåren i 1968, ble han gjenstand for en viss forfølgelse.