Han blev født som søn af skibsmægler Andreas Daniel Engelhardt (ca. 1800-1842) og hustru Oline Marie Aagaard (1786-1857). Han tog artium 1848 og Anden Eksamen 1849, blev 1851 adjunkt i engelsk, fransk og kunsthistorie ved Flensborg lærde Skole og leder af Flensborgsamlingen (den arkæologiske samling i byen) 1851-64. Efter krigen i 1864 forsøgte Conrad Engelhardt at skjule byens samling med Nydambåden for de preussiske myndigheder, men blev i 1867 tvunget til at udlevere den. I 1867 blev han assistent på Nationalmuseet (dengang "Museet for nordiske Oldsager"), 1868 sekretær for Det kongelige Nordiske Oldskriftselskab, titulær professor i 1869 og i 1879 æresdoktor ved Københavns Universitet. Han modtog Fortjenstmedaljen i guld 1858 og blev Ridder af Dannebrog 1862, Dannebrogsmand 1876. Han døde i 1881.