Det kommer som siffror tyder på en stor spik i antalet GP praxis som lämnas tillbaka till hälsonämnder för att hantera.
British Medical Association (BMA) sade GPs "kan inte bara fortsätta arbeta under de påfrestningar och påfrestningar de står inför".
En högre hälsovårdstjänsteman erkände att det behövdes en större förändringstakt.
Åtgärder inkluderar att försöka rekrytera fler sjuksköterskor, fysioterapeuter och apotekare för att bli en del av "multidisciplinära team" i primärvården för att minska trycket på GPs.
Men BMA har varnat fler familjeläkare kan sluta om inte operationer få mer pengar.
Bekymren upprepas också av en grupp som representerar GP på gräsrotsnivå.
"Ja det finns en GP-kris - det finns en kris av siffror, det finns en kris av finansiering och det finns en kris av efterfrågan," säger Sophie Quinney, GP och representant för GP Survival Wales.
"Patienter kämpar för att se sin GP eftersom arbetsbördan blir ohanterlig."
Under tiden, BMA sade trots frekventa varningar, förändringar som utformats för att lindra trycket hände alltför långsamt, utan förbättring ses på tre år.
Dr Charlotte Jones, ordförande för BMA's GPs kommitté i Wales, sade att det var att höra "vecka i veckan" läkare som inte kan fortsätta.
Hon sa att det fanns en "perfekt storm" av allmänläkare som närmar sig pension, rekrytering svårigheter att hitta yngre ersättare, längre arbetstid och mer komplexa behov av patienter.
Dr Jones sade att trots att nya strategier kom in för att försöka ta itu med problemet, var förändringstakten inte tillräckligt snabb och hon hade inte sett någon förbättring under de senaste tre åren.
"Jag skulle säga att saker och ting blir värre och det är precis vad jag hör från mina kolleger över hela Wales och det bekräftas nu av antalet metoder som säger tillräckligt", sade hon.
Hon sade att hälso- och sjukvården arbetade hårt på nationell och lokal nivå för att ta itu med frågor "men jag är rädd att förändring inte sker tillräckligt snabbt".
Dr Jones sade Wales var bättre placerade än andra delar av Storbritannien, men tillade: "Hälsokort måste ta nässlan, sätta investeringen i och börja göra förändringen, annars situationen kommer att bli betydligt värre."
BMA sade patienter i "stora stråk i norra Wales" hade nu direkt hanterat GP praxis och de såg inte samma läkare en hel del av tiden.
GP-SURGERIERNA HANTERADES ÅTERVÄNDIGT
Oron verkar backas upp av siffror från hälsonämnder som visar antalet GP operationer över hela Wales måste tas tillbaka till central kontroll eftersom läkare har gett upp.
Totalt 33 GP praxis var "handed back" till hälsonämnder över hela Wales under en femårsperiod mellan 2010 och 2015.
Detta inkluderade 17 operationer som stängdes. Men under det senaste året, siffror från hälsonämnder som GP Survival Wales, visar en spik i vissa områden.
I södra Wales var det fyra operationer som lämnades tillbaka enbart i Cwm Taf 2015/16 - dubbelt så mycket som under de senaste fem åren.
Över hela Wales lämnades 20 metoder tillbaka under det senaste året - men proportionellt sett färre av dessa - fem - avslutade.
Det tyder på att hälsonämnderna hittar tillfälliga lösningar, inklusive direkt hantering av operationer, snarare än att låta samhällen förlora dem.
Officiella siffror visar 2015 antalet GP partnerskap i Wales var strax under 2000 - 8,7% lägre än 2005.
Samtidigt är antalet GPs för varje 10.000 människor i Wales 6,5 - lägre än för de andra brittiska nationerna.
Dr Jones sade att det också fanns en resursfråga och mer av NHS budget behövde spenderas på GP kontrakt för att erbjuda en "glimt av hopp" att fortsätta tills långsiktiga förändringar kunde införas.
Hon sade att den procentuella användningen av NHS Wales budget på GP kontrakt hade sjunkit i år till 7,6%.
En äldre allmänläkare som utnämndes av den walesiska regeringen i oktober förra året för att försöka ta itu med problemen medger att förändringar måste "skalas upp" och "hända i en "snabbare takt".
Dr Richard Lewis, tidigare sekreterare för BMA i Wales, är nu nationell klinisk ledare för primärvården i Wales.
Han medgav den walesiska NHS skulle "behöva mer GPs", lägga till det fanns "en enorm mängd fortfarande att göra" för att ta itu med utmaningarna.
I sin första intervju i sin roll sa Dr Lewis att hälso- och sjukvårdssystemen var extremt komplexa så "att göra förändringar var inte så snabba som någon av oss skulle vilja".
Han sade att Wales inte är unikt när det gäller att möta utmaningar och att primärvården och samhällsvården sätts "framsida och centrum" i samband med förändringar som förs in.
"Vissa områden tycker att det är mycket lättare att rekrytera än andra", sade han.
"Vissa områden, särskilt där vi har en hög efterfrågan - från en åldrande befolkning och kroniska och multipla sjukdomar - att arbetsbelastningen och efterfrågan är mycket hög, vilket gör det mindre attraktivt för vissa grupper av hälso- och sjukvårdspersonal."
GPs i Rhondda - där upp till hälften av familjeläkarna är över 55 - har kommit samman för att skapa en ny webbplats som syftar till att ta itu med rekryteringsfrågor.
Området har traditionellt en av de lägsta antalet GP per capita av befolkningen i Storbritannien.
Rhondda Docs webbplats och rekryteringskampanj lanserades förra veckan och har redan haft hits från så långt bort som Mellanöstern.
Dr Ian O'Sullivan, baserad i Porth, har 8 000 patienter på sin lista.
"Det har varit en operation som har stängt längre upp i dalen och det finns två operationer under ledning av den lokala hälsostyrelsen så vi måste ändra saker för att se vad vi kan göra för att förbättra saker för patienten", sade han.
Kirurger arbetar också tillsammans som ett kluster för att förbättra servicen, bland annat genom att rekrytera apotekare för att få bort trycket från läkare.
I sin tidigare roll på BMA varnade dr Lewis för tre år sedan för en "ingående kris" i rekryteringen av GP.
Men han säger nu: " Jag tror inte att det finns någon kris inom hälso- och sjukvården i Wales för närvarande. Vi har på plats lämpliga planer för att ta itu med de enorma utmaningar som alla hälso- och sjukvårdstjänster står inför.
"Vi behöver ett ökat förtroende för Wales. Vi måste engagera och engagera människor mer i lösningarna."
Den "kris" som GP:s tjänster står inför i delar av Wales "blir värre" med fler metoder än någonsin inför en osäker framtid, säger läkarnas ledare.