Lionel de Marmier war der Sohn des " Marquis François-Raynald de Marmier" und dessen Ehefrau "Marie-Adèle Picaud". Sein Großvater Alfred de Marmier war während der Dritten Französischen Republik Maître des requêtes. Zum umfangreichen Besitz der Familie seines Vaters gehörte auch das Château de Ray-sur-Saône in Ray-sur-Saône. Lionel de Marmier hatte zwei Brüder und eine Schwester. Sein Vater diente im Ersten Weltkrieg als Infanterie-Offizier und fiel bereits am 24. August 1914 während der Schlacht von Le Cateau. Beide Brüder waren Kampfflieger in der Aéronautique Militaire. Sein älterer Bruder "François" verlor bei einem Luftkampf ein Bein, der jüngere Bruder "René" starb 1916 bei einem Kampfeinsatz.