Паходзіў са шляхецкага роду Скірмунтаў герба «Дуб». Нарадзіўся ў Жэневе ў сям’і Зыгмунта Скірмунта (1839—1863), доктара філасофіі Гайдэльбергскага ўніверсітэта, і Яўгеніі з Савіцкіх. Бацька памёр у тым жа годзе ў Жэневе. Маці разам са сваім другім мужам Лявонам Сулістроўскім апынулася ў ссылцы за ўдзел у паўстанні 1863—1864 гг.