Liricamente, "Take Me to Church" éuma metáfora, com o protagonista comparando sua amante à religião. A canção surgiu da frustração de Hozier com a Igreja Católica que, como alguém criado na fé protestante Quaker, ele via como dominando a perspectiva social e política do estado irlandês.