Georg Fredrik Hallager var sønn av den bergenske kjøpmannen, senere tollbetjent i København, Andreas Hallager og Hedvig Marie Clausen. Han var brorsønn av legen Laurents Hallager og far til juristen Guthorm Hallager (1864–1932).