У 2003 році Кевін перейшов у «Міллволл». Він швидко став одним з лідерів клубу і був призначений капітаном команди. У 2004 році Мускат допоміг «Міллволл» вперше в своїй історії вийти у фінал Кубка Англії, хоча і не взяв участі у фінальному матчі проти «Манчестер Юнайтед» через травму.