Казимеж Скаржинский принадлежал к старинной шляхетской семье герба Боньча и был сыном Хенрика и Марии из дома Чарновских. Получил образование в иезуитской гимназии в Вене, в школе политических наук в Париже и институте высшей торговли в Антверпене. В 1913—1919 годах находился в Закавказье, где был представителем французской компании, занимающейся добычей и переработкой меди. После революции в России выполнял функции связного между татарами и курдами во время боев с турецкой армией. Во время советско-польской войны воевал добровольцем в отрядах польской кавалерии. В 1935 году женился на Софье Замойской, дочери министра иностранных дел Республики Польша, Маврикия Замойского. У этого брачного союза было двое детей: Марек и Мария. Марек Скаржинский трагически погиб в Канаде в 1957. Мария Скаржинская является активистом полонии в канадской провинции Альберта. Сестрой Казимежа Скаржинского была Рена (Тереза) Еленская, пользующаяся признанием переводчица английской и итальянской литературы, мать известного польского интеллектуала Константия Еленского.