波兰和苏联入侵东波兰，波兰被瓜分为东西两半，导致他继续学习音乐的计划被打破了。之后，卢托斯瓦夫斯基被调往克拉科夫军的无线电部队，不久被德军俘虏，但后来他在押送期间趁机逃走，并步行了四百公里路程逃回华沙。而其两个兄长不幸地被苏联士兵俘虏，后来在西伯利亚的劳改营中饿死。为了谋生，卢托斯瓦夫斯基以编曲钢琴家的身份加入了“达纳乐团”（Dana Ensemble），并且在“齐米安斯卡咖啡厅”（Ziemiańska Cafe）唱歌。而后，他与作曲家朋友安德热·帕努夫尼克组成了钢琴二重奏，他们在华沙的咖啡馆一起演出。