Родился в Ричмонде в штате Массачусетс в семье Аса и Филуры Перри, был четвёртым из пяти детей. В 1853 году, после кратковременного посещения Йельского университета, переехал в Гринвилл в штат Алабама. Здесь он изучал право вместе с Хилари Робертом (героем битвы при Геттисберге и министром военно-морских сил в подчинении у президента Гровера Кливленда). Вскоре Эдвард Перри переезжает в Пенсаколу и сдаёт экзамен на адвоката и с 1857 по 1861 работает судьёй в округе Эскамбиа.