Eilersen var sønn av gårdbruker og sognefogd Rasmus Eilersen (1788-1869) og hans mor var Anne Hansdatter (1795-1873). Han vokste opp på landet som en av datidens bondesønner, men da han fortsatt viste interesse for tegning kom han i malerlære i Faaborg og i 1847 reiste han videre til København, da han ville bli kunstner.