Han var sønn av Ole Arndtsen (1786–1846) og Wilhelmina Castberg (1788–1853). Faren var fogd på Alstahaug men flyttet så til Bamble for å være sorenskriver. Etter farens død i 1846 måtte Adam i malerlære i Christiania, men oppga dette for å i 1847 ta examen artium. Han studerte så fra 1849 til cand.med. i 1854 ved anatomisk institutt ved universitetet.