Piła ble grunnlagt i 14. århundre som ei lita bygd og fikk Magdeburg-rettighetene før året 1449. Bystatusen ble bekreftet av Sigismund I av Polen i 1513. Etter Polens første deling i 1772 ble byen annektert av Preussen. I 1945 ble Piła erklært festningby. Større deler av byen hadde blitt ødelagt under den 2. verdenskrigen. Mellom 1975 og 1998 var Piła administrasjonssentret i Piła voivodskap.