Плезантон родился в 1824 году в Вашингтоне, в семье Стефана и Мэри Хопкинс Плезантон. Его отец в то время был известным человеком: когда во время войны 1812 года англичане вошли в Вашингтон, он смог спасти национальный архив, в том числе оригиналы декларации независимости и американской Конституции. Однако впоследствии Стефан Плезантон оказался замешан в коррупционном скандале, что в итоге привело к его увольнению в 1852 году. Эта история сильно испортила имидж семьи.