Петър Сарафов е роден през 1842 година в Гайтаниново, тогава в Османската империя, но родът му произхожда от село Осеново, Горноджумайско. Брат му Коста Сарафов е виден борец за църковна независимост, а сестра му Мария се омъжва за ковача на село Гайтаниново, Велик Стойков, който загива на Шипка като опълченец. Синът му Борис Сарафов е виден деец на ВМОРО и ВМОК, а другият му син Кръстьо Сарафов е известен български актьор.