Madison falleció a causa de un enfisema a los 74 años de edad en Palm Springs (California), y fue enterrado en el cementerio Forest Lawn de Cathedral City, California.