Utover 1900-tallet vokste byen seg stadig større, og veksten skjedde på omegnskommunen Fåberg sin grunn. Etterhvert tok Fåberg initiativ til det som førte til at kommunene ble slått sammen i 1964. En folkeavstemning om hva navnet på den nye felleskommunen skulle være ble holdt, hvor flertallet av befolkningen stemte på Fåberg. Dette ble senere overkjørt av statlige krefter som mente at navnet Lillehammer sto seg bedre internasjonalt og at navnet ellers kunne bli glemt.