Elsheimer var den eldste av ti barn. Faren var skreddermesterens Anton Elsheimer og hans hustru Maria, født Reuß. Det er litt ukjlart om han ble født i rheinhessiske Wörrstadt eller i Frankfurt am Main. Men navnet vitner om en slektsbakgrunn fra den rheinhessiske landsby Elsheim. Faren var tilflyttet Frankfurt i 1677 fra Wörrstadt.