Det er mulig at «House of the Rising Sun» er en metafor for slavearbeid på plantasjer, eller plantasjehuset, hvilket var tema i mange tradisjonelle blues-sanger. Dave Van Ronk hevdet å ha sett bilder av det gamle New Orleans fengsel for kvinner, der inngangspartiet var prydet med soloppgangsmotiv. Han anså da «House of the rising sun» for å være et kallenavn på fengselet.