Mageeans tid på 2:00.79 klippt 2,05 sekunder av hennes tidigare bästa men hon passerade i stängning 15 meter av Englands Alex Bell som vann i 2:00.53.
Portaferry-kvinnan hade blivit tipsad att utmana Rose-Anne Galligans irländska rekord på 14.58.
Pacemaker Sinead Denny gick till klockan i 59.45 med Mageean bara i efterskott.
När EM 400m semifinalisten Denny hoppade av efter 450 meter lämnade den Mageean med två meters ledning, men Bell, en kvalitetsidrottare som just missade OS-kvalificeringen, höll kontakten innan hon släppte loss sin sena körning för att passera den nordirländska kvinnan.
Yorkshire atlet Bells vinnande tid klippte 0.76 sekunder från hennes tidigare personliga bästa.
Efter hennes första lopp på hemmaplan sedan hon vann sin europeiska bronsmedalj för två veckor sedan, gjorde Mageean inget försök att dölja sin frustration efter att ha blivit spetsad av 23-åringen.
"Jag är väldigt besviken. Jag var tvungen att göra en hel del av arbetet i det loppet och fick bara köras ner i de sista meter, säger Mageean, som kommer att bege sig till Irland pre-Olympic träningsläger i Rio tidigt nästa vecka.
"Jag kommer tillbaka för att vinna 800m och milen vid Morton Games i framtiden."
Det fanns amerikanska vinnare i båda mil lopp med Katie Mackey sätta en ny dammöte rekord av 4:25.48 och John Gregorek också förbättra sitt personliga bästa som han pippade landsman Kyle Merber för att vinna männens händelse i 3:55.57.
Kvaliteten på loppet var sådan att även 11: e plats Irländaren Paul Robinson, tillbaka i strid efter en lång skadeförtrollning, bröt fyra minuter som han klockan 3:58.75.
Männens 400m producerade det svåraste av slut med sudanesisk idrottare Sadam Koumi med tanke på domen som han fick samtidigt som Guyanas Winston George.
Med Storbritanniens Jared Dunn (46.28) i tredje, Brian Gregan slutade fjärde i 46.59 för att spetsa David Gillick (46.93) i slaget av de irländska idrottarna.
Det fanns en förutsägbar amerikansk en-två i männens 100m som amerikanska olympiska prövningar semi-final Joe Morris (10.27) spetsade Dentarius Locke (10.27) som slutade åttonde i finalen i Eugene.
Med Amy Foster, som Jason Smyth, ett sent tillbakadragande från mötet, vann Nigerias Stephani Kalu kvinnornas 100m i 11.60 som lämnade henne före irländska paret Niamh Whelan (11.72) och Joan Healy (11.73).
Under tiden visade Mark English uppmuntrande form när han kämpar för form efter skada när han klockade en stor säsong bästa 1:45.36 vid Diamond League möte på Londons Olympiastadion.
Engelska, som först nyligen återvänder till handling efter en stressfraktur, var 1,48 sekunder efter den franska vinnaren Pierre-Ambroise Bosse men det var fortfarande en mycket uppmuntrande körning för Donegal mannen före OS.
Den europeiske medaljören Ciara Mageean lämnades "förtvivlad" då hon var kantad ut över 800m på Morton Games trots att hon gjorde ett stort personligt bästa.