Mange ulike steder i New Orleans har blitt hevdet å være inspirasjonen til sangen, med varierende sannsynlighet. Bare to av husene har historisk dokumentasjon på å ha brukt navnet «Risin' Sun». Det første var et lite kort-eksisterende hotell, på Conti Street, i det franske kvartalet på 1820-tallet. En utgravning tidlig i 2005 hevder påstanden, inkludert en reklame som muligens annonserer prostitusjon. Det andre huset var et sent 19-århundre-hus, kalt «Rising Sun Hall» langs elvene i Carallton-strøket, og var eid av en sosial bistand og hyggeklubb, vanligvis leid ut for danser o.l. Koplingene til prostitusjon på noen av disse husene er ikke dokumentert, og ingen av dem eksisterer idag. Guideboken skriver at det virkelige «House of the rising sun» lå på 826–830 St. Louis St. mellom 1862 and 1874, og var oppkalt etter sin eier Marianne LeSoleil Levant, da hennes etternavn kan oversettes til «The rising sun» («soloppgangen»).