Etter å ha spilt 2 ligakamper og 1 cupkamp for Everton i starten på 2003/04-sesongen signerte han en låneavtale med Millwall i november 2003, og han debuterte for Millwall 29. november 2003 i en ligakamp mot Bradford. Millwall tapte denne kampen 3-2, men Chadwick noterte seg for sitt første mål for da han scoret deres andre mål i kampen i det 24. spilleminutt. Totalt scoret han 2 mål på 6 ligakamper før han vendte tilbake til Everton i januar 2004. Kun to måneder senere var han klar for et nytt låneopphold i Millwall, og under dette oppholdet noterte han seg for 2 ligamål på 9 kamper før han reiste tilbake til Everton i mai 2004. I første del av 2004/05-sesongen fikk han bokført 2 mål på 5 obligatoriske kamper for før han i februar 2005 ble solgt for £250 000 til Plymouth Argyle.