По легенде, Понтиви был основан в VII веке монахом Иви, построившим здесь мост через Блаве. По этому мосту Понтиви и получил своё название ("Pont-Ivy"). До XI века в источниках нет упоминания о Понтиви, видимо, он был небольшим поселением в приходе Нуайяль. Первый замок в Понтиви был построен виконтом Аленом II де Роганом около 1128 года, и примерно в тот же период был построен первый каменный мост через Блаве. Во время Войны за бретонское наследство в 1342 году замок был взят и разрушен англичанами под командованием Уильям де Богуна, графа Нортгемптона. Нынешний замок построен виконтом Жаном II де Роганом между 1479 и 1485 годами. Средневековый город в основном развивается на левом берегу Блаве, внутри городских укреплений.