Происходил из семьи вольноотпущенного крестьянина подмосковного села Середниково Гавриила Захаровича Прыжова, служившего писарем в Мариинской больнице для нищих в Москве, ветерана Отечественной войны 1812, участника Бородинского сражения, получившего орден Святого Владимира, давший право на получение потомственного дворянства. Иван Прыжов был старшим сыном из 4-х детей Гавриила Захаровича, и получил образование в 1-й Московской гимназии (1849); учился на медицинском факультете Московского университете, который не окончил.