Il ghiacciaio Gauss è stato scoperto durante la Spedizione Discovery, condotta da 1901 al 1904 e comandata da Robert Falcon Scott, ma così battezzato solo nel 1993 dal Comitato neozelandese per i toponimi antartici, il quale ha nominato diverse formazioni geografiche in quest'area con nomi relativi alle scienze; il nome del ghiacciaio Gauss deriva in particolare da quello del matematico e astronomo tedesco Carl Friedrich Gauss.