Etter at Costello meldte sin fratredelse fra mafiaen, var likevel hans siste år travle. Mafiabosser som Carlo Gambino samt andre, besøkte fortsatt Costello på Waldorf-Astoria hotell for å vise respekt. I 1973 døde han av hjerteinfarkt på ett Manhattansykehus i en alder av 82. Frank Costello ble en legende og over 1000 mennesker kom i begravelsen.