Роден е на 22 септември (4 октомври) 1827 г. в Москва, Руска империя. Родителите му са от село Середниково, Московска област. Баща му, Гавриил Захарович Прижов, е чиновник в Мариинската болница в Москва, ветеран от Френско-руската война от 1812 г. Участник е в Бородинската битка и получава орден „Св. Владимир“, който му даде право да получи наследствено благородство. Иван Прижов е най-голямото от четирите деца в семейството. През 1849 г. завършва Първа московска гимназия, а след това учи в Медицинския факултет на Московския университет, но не завършва.