Su padre Józef participaba en el Partido Demócrata Nacional de Polonia (Endecja), y la familia de Lutosławski era íntima de su fundador, Roman Dmowski (el segundo nombre de Witold Lutosławski era Roman).