Barber døde av kreft i 1981 i New York City i en alder av 70. Han ble begravet på Oaklands gravplass i sin hjemby West Chester, Pennsylvania.