Witold Roman Lutosławski se narodil 25. ledna 1913 ve Varšavě jako nejmladší ze tří bratrů. Lutoslawského rodiče pocházeli z polské venkovské šlechty. Rodina vlastnila majetek v Drozdovu v Podleském vojvodství. Otec, Józef Lutosławski, se politicky angažoval v Polské národní demokratické straně ("Endecja"). V roce 1915 uprchli před pruskými vojsky do Moskvy, kde otec organizoval polské legie s cílem osvobodit Polsko. Domníval se, že Rusko by mohlo garantovat bezpečnost nového polského státu. Po bolševické revoluci v roce 1917 nová vláda sjednala s Německem mír a aktivity Józefa Lutosłavského se dostaly do rozporu s bolševickým režimem. Byl zatčen spolu se svým bratrem, uvězněn a v září roku 1918 popraven.