Det første vandrerhjemmet i Lillehammer kom i 1932 og lå i «Speiderhuset» og deretter på høyskolen. I 1946 ble det flyttet til Stampesletta. I forbindelse med vinter-OL i 1994 ble det flyttet til sin nåværende plassering.