Из потомственных дворян Тульской губернии. Сын штабс-капитана Николая Николаевича Вахрушева (р. 1834). Внук поручика Николая Елисеевича Вахрушева (1785—1862), отличившегося в Бородинском сражении.