Navnet kommer fra husets skaper Johan Niclas Byström. Etter å ha bodd mange år i Italia besluttet han i 1828 å returnere til Sverige og bygge et kunstmuseum over seg selv og sine arbeider. Villaen skulle bli Byströms livsverk, «något djevla gentilt» som han selv uttrykte det. Arkitekturen var i romersk stil med atrium, rotunde og lanternin. Han benyttet marmor fra sitt eget marmorbrudd i Carrara og kjøpte fontener, vaser, alabastkolonner og annet utstyr til huset. Bygningen sto ferdig i 1844, men Byström fikk ikke mye glede av den ettersom han døde i Italia i 1848.