Geyer kom fra en fabrikantfamilie fra Sachsen. Faren hans, Adam, eide en bomullsfabrikk i Neugerzdorf ved Löbau i Oberlausitz. Ludwik fullførte Akademiet i Berlin og begynte å arbeide i farens fabrikk. Forretningen gikk imidlertid ikke særlig bra. I 1828 reiste familien til Łódź, som mange andre familier fra Stor-Polen, Schlesien, Sachsen og Tsjekkia, lokket av byens muligheter.