Kjønnet til sangeren varierer. Tidligere versjoner er ofte sunget av en kvinne, en kvinne som fulgte en gambler til New Orleans, og ble en prostituert i «House of the Rising Sun», slik som på Joan Baez' debutalbum. The Animals' versjon er sett fra en manns side, som varsler om gambling og drikking.