Його батько, Дмитро Григорович, був дрібномаєтковим дворянином і викладачем кадетського корпусу. Він багато років був офіцером Російської імператорської армії, а також брав участь у французько-російській війні 1812 року. Після звільнення з військової служби через хворобу підполковник Дмитро Ушинський працював службовцем у різних державних установах імперії. За цей час він побував у Вологді, Санкт-Петербурзі, Олонці тощо. Такі переїзди багато у чому були пов'язані з тим, що сім'я не мала великих матеріальних статків, оскільки Дмитро Григорович відпустив селян на волю ще перед введенням селянської реформи 1861 року. Під час перебування сім'ї Ушинських у місті Тула народився Костянтин. Згодом Ушинські переїхали до Полтави, а потім, у 1832 році, через призначення Дмитра Григоровича суддею, вони переїхали до міста Новгорода-Сіверського на Сіверщині, де народилися ще два сини. Там сім'я відставного підполковника жила у приватній садибі за містом на високому березі річки Десни.