Byen ble grunnlagt i 1373 i forbindelse med byggingen av tempelet Wat Phnom. Byen ble landets hovedstad i 1431, da kong Ponhea Yat flyttet dit fra Angkor etter at han var blitt beseiret av Siam (Thailand). Det kongelige palasset i Phnom Penh med sølvpagoden ble bygd i 1866, og det var først da at byen ble en storby. Under den franske kolonimakten var Phnom Penh kjent som Asias perle. Byen ble hovedstad i det selvstendige Kambodsja i 1953. I 1975 ble byens den gang to millioner innbyggere fordrevet av Røde Khmer-styrker etter at de hadde inntatt byen. Befolkningen begynte å vende tilbake etter at vietnameserne rykket inn i 1979.