Martin var sønn av bødkermester Morten Olsen og Kirstine Rasmussen. Martin var blitt enkemann i 1829.