Regeringen säger att allmänläkare måste anstränga sig mer för att hålla öppet från 08:00 till 20:00, sju dagar i veckan, så färre patienter tvingas söka vård på sjukhus.
Det varnade GPs risk att förlora extra finansiering om de misslyckas med att uppfylla sina åtaganden att längre kirurgi öppningstider.
Men BMA och Labour sa att underfinansiering av NHS var att skylla.
Dr Chaand Nagpaul från BMA berättade för BBC Radio 4's Today-programmet: "Vi har ett mycket allvarligt problem som vi inte har kapacitet i allmänhet.
"Krisen i NHS kommer inte att lösas genom att syndabocka eller avleda skulden på GPs."
En av tre GP praxis rapporterade ofyllda lediga platser, medan åtta av 10 sade att de inte kunde ge säker vård, tillade han.
Varför bry sig om sju dagars GP-invigning?
Patientfilmer A & E korridorsäng "kaos"
Läckage visar full omfattning av NHS-krisen
Han sade att trycket på A&E var nere på allvarligt skadade patienter, inte tillgång till GPs, och regeringen behövde en krisplan för att ta itu med NHS under-resourcing.
Professor Helen Stokes-Lampard, ordförande för Royal College of GPs, sade att "hela den allmänna praktiken och primärvården" var "nära stupet" efter att ha "underfinansierats och underfinansierats under ett decennium".
Tillverkning utgående från material enligt vilket HS-nummer som helst, utom material enligt samma HS-nummer som produkten
GPs i England
Ytterligare 5000 planerade för 2020
1 av 3 överväger pension under de kommande fem åren
13% av GP träningsplatser gick ofyllda förra året
Kirurger förväntas för närvarande öppna mellan de centrala timmarna på 08:00 och 18:30, måndag till fredag. Extra finansiering är tillgänglig för dem som erbjuder möten utanför dessa timmar.
Downing Street sade operationer bör göra mer för att se till att de erbjöd möten på kvällen och på helgerna.
"De flesta allmänläkare gör ett fantastiskt jobb, och har sina patienters intressen i hjärtat", sade det.
"Det står dock allt tydligare att ett stort antal operationer inte ger den tillgång som patienterna behöver - och att patienterna lider som ett resultat av detta eftersom de då tvingas gå till A&E för att söka vård.
"Det är också dåligt för sjukhus, som sedan utsätts för ytterligare press på sina tjänster."
Regeringen belyste oktober 2015 siffror från Riksrevisionen (NAO), som visade att 46% av GP operationer stängde någon gång under kärntimmar, och 18% stängde vid eller före 15:00 på minst en vardag.
Tre fjärdedelar av dem som stängde tidigt fick extra finansiering i 2015-16 för att ge tillgång utanför kärntimmar, sade NAO.
Mer än fyra av tio sjukhus i England anmälde en stor varning under den första veckan av det nya året.
Chefen för akutvården för NHS England, professor Keith Willett, har beräknat att 30 % av de patienter som deltar i A&E skulle få bättre vård på annat håll i systemet, sade regeringen.
Downing Street sade premiärministern ville hjälpa till att minska trycket på sjukhus på ett antal sätt:
Dr Matt Owen, från Manchester, är utbildad GP för tre år sedan.
"Jag skulle säga att efterfrågan på en sjudagarsvecka faktiskt inte är hög.
"Jag jobbar längre på helgen. På söndagar är det inte ovanligt att sitta i mitt samrådsrum i 12 timmar (08:00-20:00) med så få som fem patienter hela dagen.
"Men det kan finnas en brist på möten och tillgång till GP måndag till fredag.
"Problemet här är faktiskt en brist på GPs. Ingen vill vara en GP eftersom GPs är överarbetade, överanvända och överreglerade."
Hälsotank Nuffield Trusts verkställande direktör Nigel Edwards sa att problemet var kapacitet, inte timing.
"Om du inte har fler allmänläkare och fler praktisera sjuksköterskor att göra det, du har inte ökat antalet möten, du har bara satt ytterligare press på en tjänst som redan är under en mycket svår nivå av tryck," sade han.
Regeringen sade en 14% ökning av finansieringen till allmän praxis skulle se till att det skulle finnas cirka 5000 fler läkare till 2020.
Arbetarledaren Jeremy Corbyn anklagade premiärministern för att förneka tillståndet i NHS.
I ett tal i centrala London sa han att Theresa May skyllde "krisen" på "hårda och undertryckande allmänläkare", inte underfinansiering av regeringen.
Senare berättade skugghälsosekreterare Jon Ashworth för BBC att de konservativa hade lovat en sju dagar lång GP-tjänst i mer än sex år.
Han sade att Mays svar på "krisen" i NHS var "i ökande grad inkompetent och flämtande" och uppmanade henne att "ta tag i situationen".
Läkarnas fackförening, BMA, har anklagat regeringen för att ha gjort GP i England syndabockar för trycket på A&E-avdelningarna.