Passman bodde på sine eldre dager med sin hustru i Florida. Etter utbruddet av covid-19-pandemien ble han overtalt av sin sønn til å flytte til et aldershjem i Silver Spring nord for Washington DC. Kort etter flyttingen dit den 15. mars 2020 måtte dette aldershjemmet stenges på grunn av covid-19-tilfellene der. Den 11. april døde Passman av komplikasjoner forårsaket av covid-19.