Miasto zostało założone w 1708 przez imigrantów z południowo-wschodnich prowincji chińskich. Rozwijało się powoli jako lokalny ośrodek handlowy z targiem oraz portem na rzece Danshui. Szybszy rozwój nastąpił w XIX w., kiedy w mieście pojawiły się brukowane ulice i mury obronne. W 1895 roku miasto, w wyniku I wojny chińsko-japońskiej, dostało się w ręce Japończyków. W trakcie japońskiej okupacji Tajpej (noszące wówczas japońską nazwę Taihoku) zostało rozbudowane i zmodernizowane. W 1932 roku liczyło już 600 tys. mieszkańców. W 1945 po drugiej wojnie światowej, po klęsce Japończyków, Tajpej powróciło pod rządy chińskie. Po przejęciu przez komunistów władzy w Chinach (1949) Tajpej stało się stolicą emigracyjnego rządu Czang Kaj-szeka. Z tego powodu przeżywało duży napływ imigrantów. W późniejszym okresie liczba mieszkańców zaczęła się stabilizować, a miasto dynamicznie rozwijać. W 1967 roku otrzymało status miasta wydzielonego.