Отец Витольда, дворянин Могилёвской губернии Альфонс Полонский, принимал участие в польском восстании 1863—1864 годов, за это был этапирован в Сибирь. Здесь у него родились двое сыновей — Витольд и Игнатий. Позже, после помилования, семья перебралась в Петербург, где Витольд поступил в Царскосельскую Николаевскую гимназию. Наставником класса, в котором учился Витольд, был директор гимназии Иннокентий Федорович Анненский.