Frémont nació en la ciudad de Savannah, en el estado sureño de Georgia el 21 de enero de 1813, hijo ilegítimo de Anne Beverley Whiting, una dama de la alta sociedad del vecino estado de Virginia, y de Charles Fremont, un refugiado francés muy pobre.