Han var født på gården Homstad i Overhalla, hvor faren var sakfører og senere fogd. Han var sønnesønn av amtmann Christen Elster og far til Kristian Elster d.y.. Elsters gate i Oslo og Bergen er oppkalt etter ham.