Faren Louis var sønn av den danske overkrigskommissær og kaptein Andreas von Liliencron (1774–1823) og en av hans livegne. På grunn av denne ustandsmessige ekteskap ble bestefaren Andreas gjort arveløs av familien. Hans mor Adeline var datter av den amerikanske kaptein Frederick von Harten og en portugisisk kvinne.