维托尔德·卢托斯瓦夫斯基的父母是波蘭的贵族，他们一家在波兰的波德拉谢省沃姆扎县的德罗佐沃村（Drozdowo）擁有庄园。他的父親约瑟夫·卢托斯瓦夫斯基（Józef Lutosławski）参与了波兰的民族民主党（民族民主运动），而且他们一家与该党创始人之一罗曼·德莫夫斯基关系甚密，维托尔德·卢托斯瓦夫斯基就采用了创始人的名“罗曼”为中间名。1904年，约瑟夫在蘇黎世讀書時認識了玛丽亚·奥尔塞夫斯卡（Maria Olszewska），后来玛丽亚也成为了维托尔德·卢托斯瓦夫斯基的母亲。约瑟夫离开苏黎世后，在伦敦继续他的学业，毕业后担任波兰民族民主报纸《Goniec》的通讯员。1905年，约瑟夫回到华沙参与民族民主政治活动，并于1908年接管家庭庄园。维托尔德·卢托斯瓦夫斯基生于第一次世界大战爆发前夕，是他们家中三个兄弟中最年轻的一个。随着德国和俄罗斯1915年开始交战，不久普鲁士军队开始向华沙进发，维托尔德向东前往莫斯科避难。他的父亲约瑟夫仍在政治上保持活跃，准备组织波兰军团采取任何可能解放波兰的行动（1815年维也纳会议将华沙归为沙俄的一部分），而德莫夫斯基的策略是让俄罗斯保证新产生的波兰王国的安全。但是，1917年的二月革命推翻了沙皇的统治，随后的十月革命成立了苏维埃政府，并通过与德国签订《苏俄互不侵犯条约》实现了双方的和平。这之后，苏维埃政府將波兰人視為沙俄的同黨，导致卢托斯瓦夫斯基一家与苏维埃政府产生矛盾，最终布尔什维克逮捕了约瑟夫和他的兄弟玛丽安（Marian）。因此，虽然苏德两国在东方战线停止了战斗，维托尔德仍被阻止返回波兰。约瑟夫和玛丽安被关在位于莫斯科的布提尔卡监狱，5岁的维托尔德当时在那看望了他们。1918年9月，约瑟夫和玛丽安在审讯前被处决。