Han var barnebarn av sogneprest Ole Moe, bror til arkeologen Anne Stine Ingstad og far til komponisten Ole-Henrik Moe.