Känd som "The Bulldozer", vann han med 58% av rösterna till 40% av sin största rival Edward Lowassa.
Segermarginalen var en överraskning - många analytiker hade förutspått en hårdare ras efter fyra oppositionspartier förenade bakom Lowassas kandidatur.
Det handlade om Magufulis popularitet, som ersatte den av de styrande Chama Cha Mapinduzi (CCM) som har dominerat politiken sedan självständigheten från det brittiska styret 1961.
Vilka är de fem stora utmaningar han står inför en gång i tiden?
Förändring var ledordet under valkampanjen. Nu kommer folk att förvänta sig att han engagerar sig i en stor husstädningsövning genom att visa dörren för korrumperade regeringstjänstemän och gamla tjänstemän.
Detta kommer att innebära en enorm politisk risk, eftersom de är väl förankrade i CCM. Men Magufuli, den tidigare arbetsministern, måste ta itu med korruptionen på egen hand, eftersom tanzanier har fått nog av den.
Hans första stora prov kommer med utnämningen av ett kabinett.
Kommer den att bestå av människor som inte bärs upp av korruption? Om inte, kommer väljarna att bli besvikna.
När allt kommer omkring har han byggt sin politiska karriär på löftet att han inte är rädd för att ta risker, och att han arbetar hårt och agerar snabbt.
Även om den officiella arbetslösheten ligger på omkring 10 procent, får människor ibland intrycket att krisen blir större - en annons nyligen för 70 arbetstillfällen i public service-tjänsterna lockade mer än 10 000 ansökningar. Intervjuer måste hållas på en fotbollsarena.
Nästan hälften av Tanzanias 50 miljoner invånare består av ungdomar, och de drabbas hårdast av arbetslöshet.
De röstade med stor entusiasm och trodde att deras förmögenhet kommer att förändras under Magufuli.
Han kommer att utsättas för de största påtryckningarna från dem för att uppfylla sitt löfte att skapa arbetstillfällen - och få slut på fattigdomen.
Han har lovat att återuppliva industrier som är i dåligt skick, som bomulls- och fiskberedningssektorn.
Magufuli har lovat barn fri utbildning från dagis till gymnasieskola.
Många tanzanier välkomnar detta, men de anser att det inte räcker. De vill ha en högre utbildningsnivå med förbättrade läroplaner så att Tanzania kan ha en bättre utbildad arbetskraft.
Magufuli kommer att vara hårt pressad att möta deras krav - nästan alla statliga skolor saknar skrivbord, böcker och lärare.
Med förra veckans lokala val i Zanzibar skrotade på grund av påstådd riggning, måste Magufuli se till att en re-run äger rum, och att det är fritt och rättvist.
När Kikwete kom till makten lovade han att hålla ett öga på de halvautonoma öarna, som är populära bland turister.
Men när han lämnar kontoret vill mer än 60 procent av Zanzibaris ha större självständighet för skärgården - ett tecken på deras missnöje med facket.
Om Magufuli kan åstadkomma en varaktig lösning kommer han att gå till historien som en av Tanzanias mest framgångsrika presidenter - men det är en stor om.
Utgående president Jakaya Kikwete lovade en ny konstitution, men misslyckades med att leverera på den under sina tio år som president.
Oppositionen fick många röster med sitt löfte att göra genomgripande ändringar i konstitutionen - bland annat minska presidentmakterna och garantera opartiskheten hos de statliga institutionerna, som valkommissionen.
Michael Magufuli ignorerade frågan under valkampanjen. Har han råd att göra det under hela sitt ordförandeskap? Osannolikt.
Tanzanias tillträdande president John Magufuli kommer att invigas på torsdag efter hans jordskredsseger i kraftigt omtvistade val.