Adrien Begrand de "PopMatters" describió "South of Heaven" como "una, en teoría, poco ortodoxa apertura para un concierto", añadiendo en una reseña de un concierto que "la canción tuvo el efecto de una bomba detonando en aquél lugar: se proyectaron docenas de cruces invertidas detrás de la batería, y entraron las poderosas notas iniciales, seguidas de una obertura de bajo, címbalos, y rellenos de timbales, para ir lentamente "crescendo"".