Da Forrest ankom Paducah, okkuperte han raskt byen, mens nordstatsstyrken på 650 mann, under kommando av oberst Stephen G. Hicks trakk seg tilbake til Fort Anderson vest i byen, i dagens nabolag Lower Town. Hicks hadde støtte fra to kanonbåter på Ohio-elven og nektet å overgi seg da han visste at fortet var vanskelig å innta militært, og beskjøt området med sitt artilleri.