I 1978 ble Salerno dømt til seks måneder i fengsel på grunn av ulovlig gambling og fordi han hadde drevet med skatteunndragelse. Tidlig i 1981 led Salerno av et mildt slag og han trakk seg tilbake til for å komme til krefter. Den 31. mars 1981 døde daværende Genovese-bossen Frank Tieri og Salerno ble tilsynelatende den neste lederen for Genovese-familien. Salerno var på denne tiden allment antatt å være sjefen for Genovese-familien, men det ble senere klart at Salerno ikke satt med den reelle makten. Helt siden den tidligere sjefen Vito Genovese døde i 1969 hadde den virkelige mafia-lederen vært Philip Lombardo. Opp igjennom årene hadde Lombardo brukt flere fungerende sjefer for å skjule sin sanne status som leder for å unngå rettshåndhevelse og på grunn av de fire andre mafia-familiene som også holdt til i New York.