Ett nytt personligt sparbidrag på 1 000 pund kommer att införas i april nästa år, vilket innebär att de första 1 000 punden i inkomster från sparande tas bort från inkomstskatten.
Från och med senare i år kommer människor att kunna flytta pengar in och ut ur Isas utan att bryta mot deras skattefria avgiftsgräns.
Och en ny "Hjälp att köpa" Isa kommer att lanseras för att hjälpa människor att spara för en insättning.
Som meddelades för några dagar sedan kommer regeringen att samråda om att låta människor som har köpt livränta med sina pensionskannor sälja dem, i utbyte mot en klumpsumma.
Osborne sade att det nya personliga sparbidraget skulle träda i kraft i april 2016.
Detta skulle, sade han, skapa skattefria banker för nästan hela befolkningen.
Skattebetalarna kommer dock att gynnas av ett mindre personligt sparbidrag på endast 500 pund.
Användare av BBC News app trycker här för budgetkalkylatorn.
Och alla som tjänar mer än 150 000 pund per år kommer inte att få förmånen av det nya sparbidraget alls.
Denna förändring, tillsammans med större flexibilitet för Isas, kommer att kosta skattebetalarna mer än 1 miljard pund 2016-17 och mer än en halv miljard pund varje år därefter.
En viktig dominoeffekt av dessa förändringar kommer att vara att banker och byggföretag från och med nästa april inte längre automatiskt kommer att dra av 20 % av inkomstskatten från sparande som hålls utanför ett Isa.
Kanslern hyllade detta som en viktig skatteförenkling.
"Folk har redan betalat skatt en gång på sina pengar när de tjänar dem. De ska inte behöva betala skatt en andra gång när de sparar den, sa han.
"Med vårt nya personliga sparbidrag kommer 17 miljoner människor att få se skatten på sina besparingar inte bara sänkas, utan avskaffas."
Richard Lloyd från konsumentföreningen Vilken? sade: " Skattelättnaden och den nya flexibiliteten i fråga om sparande kommer att visa sig populär bland de miljoner som har fått en rå affär om sina besparingar under de senaste åren.
"Men det finns fortfarande många sparare vars pengar försmäktar på extremt dåliga betalkonton, så finansbranschen måste nu spela rättvist och hjälpa människor att få en bättre avkastning."
När det gäller de nya Isa-reglerna för vad han kallade en "fullständigt flexibel Isa", förklarade Osborne att så länge som Isa-pengar tas ut och ersätts under samma beskattningsår, skulle ett sådant steg inte räknas mot den årliga Isa-avgiften, som i vilket fall som helst kommer att stiga till 12540 pund i april i år.
"Om du tar ut pengarna, du förlorar din skattefria rätt, och så kan inte lägga tillbaka den," sade han.
"Med den fullt flexibla Isa, människor kommer att ha fullständig frihet att ta ut pengar, och lägga tillbaka det senare i året, utan att förlora någon av deras skattefria rätt."
Denna nya flexibilitet kommer dock endast att gälla kontanter Isas och inte aktier och aktier Isas.
Osborne sade att ändringen skulle äga rum i höst efter samråd.
Iain McCluskey av revisorer PwC sade: "Den mycket betydande ökningen av Isa-tillägget jämfört med detta parlament har inneburit att många sparare redan betalar ingen inkomstskatt på sina besparingar.
"Den extra flexibiliteten i Isa-bidragen är ytterligare ett steg för att uppmuntra till sparande genom Isas och kommer att vara välkommen för dem som måste doppa sig i Isa-besparingar på de alltför ofta förekommande regniga dagarna."
HM Revenue & Customs bekräftade att denna nya flexibilitet innebar att någon kunde flytta ut hela sina Isa besparingar, ackumuleras under många år, och sedan återinföra dem under det nuvarande beskattningsåret för att återuppta sin skattefria status.
Som ytterligare ett försök att hjälpa första gången köpare spara en insättning för att köpa ett hem, en "Hjälp att köpa" Isa kommer att skapas.
I detta kommer regeringen att lägga 25% till vad en sparare än bidrar med.
Den månatliga maximala bidraget från sparare kommer att vara bara £ 200, med regeringen lägga bara £ 50 per månad som mest.
Kontona kommer att köras på obestämd tid när de väl öppnats.  Men om någon ackumulerar 12.000 pund under den tiden, kommer högst 3 000 pund att läggas till av skattebetalarna.
"Savers kommer att ha tillgång till sina egna pengar och kommer att kunna ta ut pengar från sitt konto om de behöver dem för ett annat ändamål, men bonusen kommer endast att göras tillgänglig för hemmaköp," regeringen sade.
Betalningen av regeringens bonus kommer bara att utlösas om spararen köper ett hem värt mindre än £ 450.000 i London, eller mindre än £ 250.000 någon annanstans.
Paul Smee vid Rådet för hypotekslånelån sade: " Sådana steg är välkomna. Men eftersom det aldrig kommer att bli lätt att spara till en deposition behöver vi fortfarande tydligt fokusera på utbudet av nya bostäder som kommer att bidra till att skapa en hållbar och prisvärd bostadsmarknad på lång sikt."
Kostnaden för skattesubventionen till Hjälp att köpa Isa beräknas stiga från 230 miljoner pund 2016-17 till 835 miljoner pund 2019–20.
För att hjälpa till att betala för vissa av dessa skattelättnader tillkännagav kanslern planer på att ytterligare begränsa pensionsskattelättnaden.
Från 2016-17 kommer livstidsersättningen - för pensionssparande som kan ackumuleras utan skatt - att minskas från £1,25 miljoner till £1m.
Det kommer att spara taxman £ 300m i 2016-17, stiger till nästan £ 600m i 2019-20.
Från och med 2018 kommer detta tillägg att indexeras till konsumentprisindex (KPI) och kommer därför att börja stiga igen.
Steven Cameron från försäkringsbolaget Aegon blev besviken.
"En pension på 1 £ kan tyckas enorm, men med förbättringar i hälsa och livslängd, människor som går i pension vid 60 kan behöva använda sin pensionsinkomst för att täcka sina kostnader i 30 år eller mer", sade han.
"Om du vill att din pension ska fortsätta till din partner och stiga med inflationen, kommer £1m att köpa dig mindre än £ 30k per år. Många människor strävar efter mer än så."
Det årliga bidraget för pensionssparande kommer inte att ändras, vilket uppgår till 40 000 pund.
Osborne sade att en förändring som skulle ha inneburit "påverkning av måttligt betalda och långtidsarbetslösa offentliga tjänstemän, inklusive poliser, lärare och sjuksköterskor, och i stället belöna högre betalda utexaminerade".
Den förändring som kommer att ske kommer bara att påverka de rikaste pensionsspararna.
Statistiken visar att endast 4 % av de personer som ska gå i pension har pensionssparande som är värt mer än 1 miljon pund.
Det motiverade också sitt drag genom att påpeka att inkomstskattelättnaden för pensionärer 2013–2014 var värd totalt cirka 34 miljarder pund, och av detta gick cirka två tredjedelar till människor i de högre eller högre skattesatserna.
Kanslern beskrev fyra stora planerade förändringar för att uppmuntra sparande.