Ole Arnesen var født i 1803 på gården Eidalen i Rukkedalen i Nes, Hallingdal. Hans far, Arne Olsen på Eidals Eie, var kjent under navnet . Han deltok i svenskekrigen i 1814 og mistet sitt ene ben i slaget ved Matrand.