Han var sønn av kammerråd Christopher Malthe, som ved sønnens fødsel var bestyrer av Gjemsø kloster, og en datter av den franske generalen Normand de Bretteville, som hadde flyktet til Danmark etter den franske revolusjonen. En bror av ham var murmester Nestor Malthe, som eide gården «Maltheby» i Christiania. Søsteren Hulda var en av Henrik Wergelands ungdomsforelskelser.