«Losing My Religion» se basa en la interpretación de mandolina de Peter Buck, quien dijo: «Las estrofas son el tipo de cosas que R.E.M.