Byen sto på høyden i senmiddelalderen, men deretter kom en brå stopp for videre vekst. Det ble bygget en bro i St Ives samtidig som andre nabobyer også fikk tillatelse til holde marked, en konkurranse som ikke falt fordelaktig ut for Huntingdon. Nedgangen i tollinntekter samtidig som vannløpet i elven Ouse til King's Lynn hindret med møller, kverner og sluser som begrenset vannvegen for varetransport.