Tory-manifestet säger att äldre som behöver vård i hemmet skulle behöva betala kostnaderna men kunde behålla 100 000 pund efter att räkningen dragits av från deras egendom.
Arbets- och pensionssekreteraren sade till BBC att det fortfarande skulle vara "ett rimligt arv" att föra vidare till underhållsberättigade.
Labour sa att planen skulle lämna människor "på egen hand" och borde dras.
Politiken skrotar ett planerat tak på 72 000 pund för vårdkostnader som betalas av individen. Tories hävdar att det är rättvisare att låta människor behålla ett "golv" på 100 000 pund av tillgångar som inte kan beröras.
Live uppdateringar: söndag politiska intervjuer
Reality check: Vem kan sociala förändringar påverka?
Tory motsätter sig planer för social omsorg
Arbetskraft ökar farten för pensionärsröster
Konservativa ministrar har försvarat politiken och argumenterat för att premiärminister Theresa May visar prov på "bravery" genom att ta itu med frågan, och att man måste hitta en balans mellan de kostnader som finansieras av individen och de som finansieras av skattebetalarna.
Men den konservativa tankesmedjan Bow-gruppen har varnat för att det skulle kunna vara den "största smygskatten i historien", och Labour har anklagat Tories för "attacker mot äldre människor", med hänvisning till den sociala omsorgsplanen och med förbehåll för vinterbetalningarna för bränsle och nedgraderingen av "triple locket" på den statliga pensionen.
Fyra opinionsundersökningar för söndagstidningar tyder på att stödet för Labour har ökat, samtidigt som de konservativa behåller en stor ledning.
Äldre väljare som äger sina egna hem tenderar att vara bördig mark för Tory stöd. Men en social omsorgsplan som skulle se dessa människors hem säljas för att betala för sin vård efter döden - vilket innebär att deras barn inte kunde ärva dessa fastigheter - kommer alltid att vara svårt att sälja till denna avgörande grupp av väljare.
Idag försvarade arbets- och pensionsminister Damian Green det genom att säga att 100 000 pund var ett "rimligt arv". Det är det belopp som regeringen skulle finansiera en persons vård under planerna.
Men med en hel del fastigheter värda mycket mer än så, har det dragit kritik.
Labour har tagit tillfället i akt att göra sin pitch för den grå omröstningen, lova mer sociala utgifter och ett tak på 72 000 pund för hur mycket någon skulle behöva betala, medan Lib Dems har anklagat regeringen för att införa en "demensskatt".
Med spekulationer om huruvida kabinettet är fullt upptecknat till Tories nya socialvårdsplan, har utrikesminister Boris Johnson slagit bort förslag om att kabinettet inte hade något att säga till om i en politik som sannolikt kommer att visa sig obekväm för Tories att sälja på tröskeln.
På planer på att prova vinterbränslebetalningen - en summa på mellan 100 och 300 pund för dem som når den statliga pensionsåldern - i England och Wales, Mr Green berättade BBC Ones Andrew Marr Visa att de "i verkliga behov" skulle fortsätta att få det och de pengar som skulle sparas skulle gå in i socialvård.
Han tillade att den exakta tröskeln för brytpunkten skulle bli föremål för samråd.
Jan Green sade att systemet med socialförsäkringstak som skulle ha kommit in 2020 på ett orättvist sätt skulle ha gynnat dem som har de dyraste egendomarna att föra vidare.
"Det måste fungera för alla, inte bara i Ashford och Twickenham, men också i Hartlepool", sade han.
"Att låta alla veta att det finns en platt siffra på 100 000 pund är rättvist för alla."
Han betonade att ett arv på 100 000 pund fortfarande var "fyra gånger så bra" som kvarlämnat med 23 250 pund - den nuvarande tröskeln över vilken boendekostnader måste finansieras.
"Alla vet att det kommer att finnas ett anständigt arv för dem, ingen kommer att behöva förlora sitt hem under sin livstid eller livet av sin överlevande make."
Frågade om Tories kunde ompröva planerna med tanke på kritiken, sa Mr Green: "Nej... vi har fastställt denna politik, som vi inte kommer att titta på igen."
Han sade att det skulle finnas en grönbok om både social- och hälsovård "som kommer ut på sommaren".
Enligt de konservativa planerna skulle ingen med tillgångar på mindre än 100 000 pund behöva betala för socialvården. För närvarande förväntas alla med tillgångar på över 23,250 pund betala hela kostnaden för sin hemvård och värdet av deras hem kan beaktas.
Men så är inte fallet om du får vård i ditt eget hem. Enligt Tory planer värdet av ditt hem kan i framtiden räknas in, även om pengarna inte skulle tas från din egendom förrän efter din död.
Detta innebär att somliga människor fruktar att de inte kommer att kunna lämna över sina hem till sina barn.
Varför många kommer att betala mer för vård
Shadowkansler John McDonnell sa att en övre gräns för privatfinansierade kostnader - snarare än en "golv" - var ett bättre system.
"Det vi vill vara säkra på, precis som NHS, är att det finns en gemensam risk så alla är säkra.
"Det är därför vi stödde Dilnot men vi stödde också en partiöverskridande strategi eftersom vi måste ha något som är hållbart över generationer."
Men politiken försvarades av utrikesminister Boris Johnson på ITV:s Peston's Politics som en "känslig, vuxen konservativ strategi" för att hantera det "massiva problemet" med de långsiktiga kostnaderna för social omsorg.
Frågade om skillnaden mellan kostnader för någon med demens, jämfört med en person som hade drabbats av stroke, sade han till exempel: " Jag förstår människors reservationer och de frågor som människor ställer om några av detaljerna i detta.
"Men den breda inriktningen är rätt, som premiärministern sa, det kommer att bli ett samråd om att få det rätt."
Och den konservativa före detta minister Ken Clarke berättade BBC Radio 4's World Denna helg politiken var "fri marknadsekonomi med ett socialt samvete" och alternativet var att yngre skattebetalare att plocka upp räkningen.
Han sade: "Tanken att i stället för någon som bor i en halv miljon, miljoner pund hus, bidrar till sin egen vård, yngre människor i arbetsför ålder som inte har råd att köpa ett hus borde faktiskt betala mer skatt - eftersom det är vad som faktiskt kommer att hända att ge den mängd social vård som vi behöver - är grovt orättvist", sade han.
Liberaldemokratisk ledare Tim Farron berättade för Sky's Sophy Ridge på söndagen: "Vad vi ser i helgen är de konservativa under växande press eftersom de har valt en demensskatt."
"Om du eller din älskade har eller kommer att få demens, kommer de efter dig."
Få nyheter från BBC i din inkorg, varje vardag morgon
Damian Green har sagt att de konservativa inte kommer att "titta igen" på planer för att finansiera social omsorg i England, trots rädsla de kommer att vara impopulära med väljare.