Den 8. mai 1844 lot han seg vie til den russiske fyrstinne Alexandrine Alexievna af Lobanoff-Rostoff. Forbindelsen kom i stand gjennom brudgommens svigerinne Anastasia Sergiewna Soltikoff, som også var av russisk avstamning. Paret fikk fire barn sammen. Fyrstinnen døde den 23. januar 1858. Morgenstierne giftet seg på ny i 1878 med sangerinnen Severine Petrine Bye, enke etter pianist Thomas Tellefsen. De fikk 1 barn sammen.