Under Benjamin Mkapas presidentskap var Magufuli stedfortredende arbeidsminister fra 1995 til 2000 og deretter til 2005 arbeidsminister. Fra 6. januar 2006 til 13. februar 2008 var Magufuli minister for landlig utvikling og bebyggelse. Fra 13. februar 2008 til 28. november 2010 innehadde han ministerposten for jordbruk og fiskerier. Da var han igjen arbeidsminister til 2015. Som arbeidsminister fikk han tilnavnet /=traktor, bulldoser).