En 1970 falleció la mujer de Arlen debido a un tumor cerebral, ocasionando que el compositor dejara de lado sus aficiones y se distanciara progresivamente de amigos y familiares, terminando por recluirse en su casa.