Plateselskapet Warner Bros. var bekymret for valget av denne sangen som den første singelen fordi de syntes den var ekstremt ukommersiell. Sangen inneholder ikke et ordentlig refreng, og Peter Buck sitt mandolinspill utgjør en stor del av lydbildet. Imidlertid representerer ikke sangtittelen, som bokstavelig talt betyr «å miste min religion», betydningen av sangen. Michael Stipe har forklart at det handler mer om å miste grepet, og om ulykkelig kjærlighet.