Totalt sett sågs 2,2 miljoner patienter inte inom måltiden 2015-16 - mer än dubbelt så många som en miljon under 2013-2014.
Royal College for Emergency Medicine (RCEM) säger att det finns ett "stort och systemiskt problem" som orsakas av brist på sjukhussängar.
NHS England sade sjukhus var under press men fortsätter att klara av det.
Vissa sjukhus publicerar levande väntetider och nuvarande patientnivåer för att avskräcka människor som egentligen inte behöver A&E från att komma.
Direkt täckning från A&E-enheten
Försäkringstekniska avsättningar beräknade som helhet
väntar på 12 timmar eller mer, 2015-16
260 Försäkrings- och återförsäkringsföretag
väntar på 12 timmar eller mer, 2013-14
Dr Simon Howse, politisk forskningsledare på RCEM, sade att det inte fanns några bevis för att fler människor felaktigt använde A&E jämfört med för ett decennium sedan.
"I alla hälsosystem dyker vissa människor upp som inte är i stort behov men studier visar att antalet onödiga besök i Storbritannien är mycket, mycket låg."
Problemet på sjukhus, sade han, var "ett stort och systemiskt problem" där "sjukhus uppmanas att göra något som de inte har resurser att göra.
"De försöker behandla en växande och mer behövande befolkning med färre och färre sängar.
"Det har också skett en kontinuerlig tillväxt hos personer över 75 år med komplexa behov och de tenderar att ta längre tid att behandla än till exempel en 25-åring."
När det gäller sjukhussängar per capita sade han att NHS i England nu har färre än Chile, Estland och Turkiet.
I England 2015–2016 sågs 85 % av patienterna inom fyra timmar. Den lägsta nivån var på The Hillingdon Hospitals i London på 68 %.
Men dr Howse varnade för att vissa sjukhus för närvarande registrerade - i siffror som ännu inte publicerats - priser på 50- och 60-talen.
Han sade att dessa siffror är viktiga, eftersom "människor utsätts för allvarliga risker" på under 80 procent.
Neil Carvey, från Leatherhead i Surrey, blev tillrådd att gå till olycka och nödsituation av en GP efter att han vaknade skakningar och i smärta efter en operation på hans ryggrad i december förra året.
Hans partner Ivanel Petrenkov berättade hur det slutade med att de väntade 16 timmar på Epsom Hospital på juldagen trots att " knappt någon var där".
Sedan dess har Carvey drabbats av en ryggradsinfektion till följd av komplikationer.  Han är fortfarande på sjukhus.
Petrenkov, som har vänner som arbetar inom hälso- och sjukvården, sade: "Vi har förlorat all tilltro till olyckor och nödsituationer."
Sjukhuset förtroende - som har sett en 97% ökning under tre år hos patienter som väntar mer än fyra timmar, ifrågasätter parets 16-timmars väntan anspråk, säger: "Under december, ingen patient väntade i A&E för 16 timmar för att ses."
En talesman för sjukhuset sa att det hade "ett utmärkt resultat" av att uppfylla ett 95% mål för att hantera patienter inom fyra timmar.
"Det sade, under de senaste veckorna har vi sett aldrig tidigare skådad nivå av efterfrågan på våra tjänster och i vissa fall, som har inneburit att vissa människor har upplevt längre väntetider," sade hon.
Den största ökningen i väntetider på fyra timmar eller mer sågs vid North Middlesex University Hospital, med en ökning på 380 %, Royal Free Hospital i London, med en ökning på 366% och Mid Yorkshire Hospitals på 351,5 %.
Pennine Acute Hospitals har upplevt den största ökningen av antalet patienter som väntar mer än fyra timmar.  Under 2013–2014 behandlades 13 867 personer inte på fyra timmar. Under 2015–2016 ökade antalet till 296 % till 54 945.
Förtroendechefen Matt Makin sade: " Våra (tre) olycksfalls- och akutmottagningar har fortsatt att utsättas för verklig press under hela året, och vi vet att efterfrågan på våra tjänster ökar ytterligare under vintern.
– Precis som de flesta litar på över hela landet, finner vi detta som en utmaning på grund av flödet av patienter till och från sjukhus och det stora antalet intagningar av patienter, särskilt de som är äldre och med komplexa och kroniska hälsotillstånd.
"Vi beklagar att vissa patienter måste vänta längre än vi skulle vilja bli sedda av en läkare och även de som väntar på att bli intagna och förda till avdelningen."
I januari fick vissa patienter på Shrewsbury och Telford Hospital NHS Trust vänta i 20 timmar eller mer för att bli behandlade.
Sjukhuset sade att situationen uppstod av "otroligt hög efterfrågan", men ingen av dem som väntade 20 timmar var "allvarliga" fall.
I ett öppet brev sade sjukhusets verkställande direktör Simon Wright: " Det är ett faktum att vår akuta räddningstjänst har varit bräcklig under en tid. Det är ingen hemlighet att hälsobudgetarna - nationellt och lokalt - sträcks ut."
NHS England svarade inte på RCEM:s påståenden att ökningen av förseningar till stor del berodde på brist på sjukhussängar och resurser.
I ett uttalande skyllde en talesman för NHS England på förseningar i att kunna släppa ut patienter på grund av påtryckningar inom socialvården.
"Hospitals rapporterar detta påverkar deras förmåga att snabbt erkänna akut A&E-patienter, så NHS arbetar nära lokala råd och samhällshälsovård för att göra det möjligt för äldre patienter att få det stöd de behöver efter en sjukhusvistelse, hemma," sade han.
"Hospitalerna utsätts för allt större tryck, men i huvudsak fortsätter de att klara av det."
Antalet patienter som väntar fyra eller fler timmar på A&E har ökat med mer än 300 % på vissa sjukhus, vilket har visat sig.