Катерина Миколаївна фон Райзер народилася 19 лютого 1852 року в місті Лубни, що на Полтавщині, в родині Катерини Петрівни (уроджена Лодигіна-Кир'якова) та великого землевласника Миколая Вільгельмовича фон Райзера. По батьківській лінії походила зі старовинного дворянського роду німецького походження, представники якого перебралися до Російської імперії у XVII столітті. Найбільш ранні свідчення стосуються постаті Вікентія Степановича фон Райзера, уродженця шведської Померанії, який потрапив у полон до армії Петра Першого унаслідок битви під Полтавою, а надалі перейшов на російську службу як артилерист й знавець гірничої справи. Його син, Вікентій-Людвіг, зробив кар'єру у війську, служив флігель-ад'ютантом при Петрі III, а згодом у чині генерал-поручика за Катерини II. По його смерті у 1780 році вдова, Ганна Іванівна Лоріх, оселилася в Лубнах. Вільгельм Ульріх фон Райзер також присвятив своє життя армії (брав участь у походах генерала Суворова до Швейцарії), так само як і його син — батько Катерини Скаржинської — учасник битви під Варшавою 1831 року. Батьку часто доводилося служити вдалині від родини, тому Катерину та її брата Михайла ростили матір та бабуся Варвара Петрівна Лодигіна.