Privata hemvårdsföretag på uppdrag av lokala myndigheter säger att det finns en rekryteringskris på grund av konkurrens från sjukhus och stormarknader.
UK Homecare Association sa att det fanns en "verklig känsla av desperation".
Folkhälsominister Rebecca Evans sade att åtgärder skulle vidtas.
Colin Angel - av UK Homecare Association, det organ som representerar vårdföretag - berättade Week In Week Out program många av hans medlemmar var verkligen kämpar.
"Vad vi hör i Wales är en verklig känsla av desperation från vissa leverantörer försöker räkna ut hur de kan fortsätta i branschen på de typer av avgifter som de betalas av lokala myndigheter," sade han.
"Och jag tror att i vissa delar av Wales, särskilt på landsbygden, kan vi se vårdgivare lämna tillbaka arbete eller gå i konkurs ännu snabbare än i resten av landet. Och det är något som jag hoppas att den walesiska regeringen kommer att ta på allvar."
Privata hemvårdsföretag tillhandahåller 13 miljoner timmar vård varje år i Wales.
Ett vårdföretag i norra Wales "tillfälligt" drog sig ur att ge vård till Conwy Council, säger att det inte kunde tillhandahålla den vård som krävdes för de pengar som rådet var beredd att betala.
Tretton av Wales 22 lokala myndigheter sade att de hade sett kontrakt som lämnats tillbaka till dem, på begäran av BBC Wales.
Andelen returnerade kontrakt - 59 % - kan jämföras med ett genomsnitt i Storbritannien på 48 %.
Cymorth Llaw har tillhandahållit hemvård i norra Wales i 17 år och företagets chef Ken Hogg sa att det blev mer och mer utmanande.
Företaget riskerar inte att gå i konkurs, men vinsten har sjunkit.
"Det kommer att bli svåra beslut att fatta. Vi har fattat svåra beslut tidigare, sa Hogg.
"Vi måste stoppa denna kris inom socialvården och vi måste få dessa professionella vårdare att känna sig uppskattade, inte bara uppskattade medlemmar i samhället, utan också den ersättning som de förtjänar."
Förra året drog sig företaget ur vården i Conwy - som ursprungligen betalade £14.20 en timme för vård. Conwy erbjöd sig att höja det till £ 15.00, men företaget beslutade att de inte hade något annat val än att ge upp kontraktet.
"Vi trodde inte att vi kunde tillhandahålla denna servicenivå för den kostnaden, för den summa pengar som Conwy erbjöd. Och vi var mycket, mycket ovilliga att lämna, men vi var tvungna att gå, det var så enkelt som det, "tillade Hogg.
Conwy rådet sade att det var engagerat för att stödja utsatta människor i samhällen, trots att de står inför ekonomiska utmaningar.
Vårdarbetare Amanda Hopewell, av Cymorth Llaw, betalas £ 7,55 per timme - strax över den nationella levnadslönen.
Hon har ett noll-timmars kontrakt, vilket innebär att de timmar hon arbetar inte är garanterade. Hon sa att hon kämpade för att få det att gå ihop.
"Jag tittade på att köpa ett hus för ungefär fyra år sedan, men eftersom jag inte hade ett kontrakt de inte skulle tillåta mig att köpa ett hus eller något liknande", sade hon.
"Det är svårt. Du ser alla dina vänner ute varje helg, går på middag med varandra, och du är som 'Nej, jag kan inte komma'."
Steve Thomas, från Welsh Local Government Association, sade att råd behövde mer pengar för att kunna betala vårdare en bättre lön.
"Som det nu är, om inte mer pengar kommer in i systemet, har vi ett verkligt problem. Ingen är stolt över det faktum [av] hur mycket pengar vi betalar människor som arbetar inom socialvårdssektorn, säger Thomas.
Tidigare denna månad tillkännagav den brittiska regeringen ytterligare 2 miljarder pund i finansiering under tre år för social omsorg i England.
I Wales finns det 200 miljoner pund extra, men den walesiska regeringen har ännu inte bestämt hur pengarna ska användas.
Rebecca Evans, social- och hälsovårdsminister, sade att det var upp till den walesiska regeringens regering att besluta om hur de extra pengarna skulle användas.
Hon sade att åtgärder vidtas för att ta itu med rekryteringsproblemen inom vårdsektorn och att införandet av ett registreringssystem för hembiträden 2020 skulle vara till hjälp.
"Det kommer att ge arbetskraften den typ av kudos den förtjänar, för att ta hand om våra mest utsatta människor - vilket viktigare jobb finns det än det?" sade hon.
"Och det kommer också att ge människor som går in på detta arbetsområde möjlighet att tänka på karriärutveckling eftersom vi vet att det inte finns för människor för tillfället också."
Ministern sade också att den walesiska regeringen hade investerat i sektorn för att höja villkoren för anställda, inklusive extra pengar för lokala myndigheter för att möta en ökning av den nationella levnadslönen i april.
Företag som tar hand om tusentals människor som bor hemma i Wales står inför hårda ekonomiska påtryckningar för att hålla sig öppna, har ett vårdföretag organ sagt.