Han begynte på guttelaget i og hospiterte med U-gruppen. Snart ble han en fast del av den, men da som midtbanespiller. Etter hvert ble han enig med trenerne om at det var som midtstopper han kunne nå lengst. Pallesen Knudsens første mulighet til å vise seg frem på A-laget til Brann kom vinteren 2014 i to treningskamper. Han var da på den såkalte B-listen. Sent samme høst kom A-lagsdebuten, og den kom ikke i hvilken som helst kamp. Fredrik startet den skjebnesvangre kvalikkampen mot som sendte Brann ned i 1. divisjon.