Después de la muerte de Józef, cuando Lutosławski tenía sólo cinco años, otros miembros de la familia pasaron a jugar un papel importante en sus primeros años.