Oppositionsrådet anklagade den styrande labourgruppen för "arrogans" och lyssnade inte på allmänhetens oro.
Planerna hade också lett till protester utanför fullmäktiges kontor på onsdag.
Rådsledare Peter Marland sade att han var "nedslagen" men skulle samarbeta med andra parter för att komma överens om en ny budget.
Myndighetens preliminära budget för 2015–16 hade inkluderat 1,5 miljoner pund i nedskärningar i busstrafiken och minskat finansieringen av medborgarrådgivningsbyrån.
Hemlösa skyddsrum stod inför en eventuell stängning enligt planerna, och avlägsnandet av annan finansiering kunde ha tvingat vissa scoutgrupper att stänga ner.
Liberaldemokratisk ledare, Douglas McCall, anklagade rådets ledare för att vägra lyssna på allmänhetens oro eller samarbeta med oppositionspartier.
Han beskrev deras inställning till ett offentligt samråd som "arrogant".
Marland sade dock att ett rekordstort samrådssvar visade att myndigheten lyssnade.
"Det vi inte kunde göra var att övertyga tillräckligt många oppositionspolitiker om att det vi gjorde i slutändan var rätt", sade han.
Tidigare konservativ gruppledare Andrew Geary sade att hans parti hade förutspått besparingar i fem år och lagt fram en "klar strategi" för att leverera dem när det var i kontroll.
"Du kan helt enkelt inte ändra något som inte är byggt på en solid grund och denna budget är byggd på sanden och det kommer att kollapsa och det kommer inte att leverera."
Myndigheten kommer att mötas igen nästa vecka för att diskutera de reviderade förslagen.
Analys
Paul Scoins, politisk reporter, BBC Tre grevar
Efter den politiska storheten kommer förhandlingarna.
Koncessioner kommer att göras, men den viktigaste punkten när det gäller åtgärder för hemlösa kommer att förbli ett diskussionsämne.
Rådet måste då komma överens om denna budget, och om de misslyckas kommer regeringen att träda in och agera, med största sannolikhet frysa budgeten i sitt nuvarande skick.
Mer än 90 miljoner pund måste sparas under de närmaste åren och Labour säger att svåra beslut är oundvikliga.
Källor inom ledarskapsgruppen säger att de skulle bli förvånade om en överenskommelse inte kunde nås, vilket tyder på att det "nukleära alternativet" att överlämna beslutet till samhällenas sekreterare Eric Pickles skulle vara något som alla parter skulle finna svårt att svälja.
Förslag till budgetnedskärningar på 22 miljoner pund i rådet i Milton Keynes har förkastats på grund av farhågor om att de skulle påverka utsatta människor negativt.