Sesongen 2003/04 ble vanskelig for klubben og endte med nedrykk. Samtidig bestemte Vale of Glamorgan grevskapsdistrikt, som eier Barry Towns hjemmebane Jenner Park, at klubben måtte betale 42 000 pund i leie for Jenner Park, en enorm sum for en klubb som hadde måttet oppgi proffstatusen. Klubben mente de ikke hadde råd til dette, og valgte i stedet å leie Treforest FCs bane nær Pontypridd fra januar 2005 til mai 2006.