Sachverhalt:
A.
A.a. C._ ist Eigentümerin der Parzelle 1868 in der Gemeinde St. Moritz. Das Grundstück liegt im Bereich der Einmündung der Via Puzzainas in die Via Suvretta in der Villenzone Suvretta. An die Liegenschaft grenzt die Parzelle 2462, die sich als schmaler, zwischen 2.2 m bis 3.6 m breiter Streifen von der südlichen Ecke bis fast an die östliche Ecke der Parzelle 1868 hinzieht und ungefähr je zur Hälfte durch Wiesland und den Strassenkörper der Via Puzzainas belegt ist. Die Parzelle 2462 steht im Miteigentum von A._ und B._. Im Norden grenzen die Grundstücke 1938 und 2100 an die Parzelle 1868. Daran schliesst sich die Parzelle 779 an, die in der Landwirtschaftszone mit überlagerter Wintersportzone liegt und sich ebenfalls im Miteigentum von A._ und B._ befindet.
A.b. Am 2. Mai bzw. 19. September 2016 sowie am 28. Februar 2017 bewilligte der Gemeindevorstand von St. Moritz als Baubehörde den Abbruch und Wiederaufbau des auf der Parzelle 1868 stehenden Einfamilienhauses sowie verschiedene Projektänderungen. Am 8. März 2018 reichte C._ ein fünftes Projektänderungsgesuch ein, das als Variante im ersten Untergeschoss anstelle der bewilligten Abstell- und Kellerräume eine zusätzliche Erstwohnung vorsieht, verbunden mit dem Einbau von zwei verglasten Lichtschächten und der Verlegung des Fusswegs als Zugang zum Hauseingang von der Südseite auf die Westseite des Gebäudes. Diese Untergeschosswohnung soll als Wohnraum für einen Hauswart dienen.
A.c. Gegen das Baugesuch betreffend die fünfte Projektänderung erhoben A._ und B._ am 4. April 2018 Einsprache bei der Gemeinde St. Moritz mit dem Antrag, das Baugesuch abzuweisen. Mit Bau- und Einspracheentscheid vom 23. Juli 2018 wies der Gemeindevorstand die Einsprache ab und erteilte unter einer geringfügigen Korrektur die ersuchte Baubewilligung mit den entsprechenden Modalitäten und bestimmten Auflagen wie insbesondere einer Erstwohnungspflicht für die Wohnung im ersten Untergeschoss.
B.
Dagegen führten A._ und B._ am 29. August 2018 Beschwerde beim Verwaltungsgericht des Kantons Graubünden. Dieses sprach ihnen die Beschwerdelegitimation ab und trat mit Urteil vom 21. Mai 2019 auf die Beschwerde nicht ein; ergänzend führte es aus, es habe wohl bereits an der Einspracheberechtigung gefehlt, doch habe dies keinen massgeblichen Einfluss auf den Baubewilligungsentscheid gehabt.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 14. Oktober 2019 an das Bundesgericht beantragen A._ und B._, das Urteil des Verwaltungsgerichts vom 21. Mai 2019 aufzuheben und die Angelegenheit zur materiellen Beurteilung an dieses zurückzuweisen. Zur Begründung berufen sie sich im Wesentlichen darauf, sie seien von Bundesrechts wegen zur Einsprache und Beschwerde legitimiert.
C._ und das Verwaltungsgericht schliessen auf Abweisung der Beschwerde. Die Gemeinde St. Moritz verzichtete auf eine Stellungnahme.
A._ und B._ äusserten sich in einer kurzen Eingabe vom 13. Dezember 2019 nochmals zur Sache. Weitere Rechtsschriften gingen beim Bundesgericht nicht ein.

Erwägungen:
1.
1.1. Nach Art. 34 Abs. 1 RPG gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege. Angefochten ist hier ein kantonal letztinstanzlicher Endentscheid (vgl. Art. 86 Abs. 1 lit. d sowie Art. 90 BGG) über einen Rechtsstreit im Zusammenhang mit einer Baubewilligung. Gemäss <ref-law> beurteilt das Bundesgericht Beschwerden in Angelegenheiten des öffentlichen Rechts. Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung, da das Bundesgerichtsgesetz dazu keinen Ausschlussgrund enthält (vgl. <ref-ruling> E. 1.2 S. 251; <ref-ruling> E. 1.1 S. 411).
1.2. Streitgegenstand bildet einzig die Frage des Nichteintretens auf die Beschwerde durch das Verwaltungsgericht im Zusammenhang mit dem Baugesuch der Beschwerdegegnerin betreffend die fünfte Projektänderung. Die früheren Baugesuche haben die Beschwerdeführer nicht angefochten. Im Falle einer Gutheissung ist das Urteil des Verwaltungsgerichts aufzuheben und die Streitsache zur materiellen Beurteilung an die Vorinstanz zurückzuweisen (vgl. <ref-law>). Eine Rückweisung an die Gemeinde fällt hier nicht in Betracht, da diese die bei ihr erhobene Einsprache inhaltlich geprüft hatte.
1.3. Unabhängig von der Legitimation in der Sache selbst kann eine Verfahrenspartei jedenfalls die Verletzung von Verfahrensrechten geltend machen, deren Missachtung eine formelle Rechtsverweigerung darstellt. Das erforderliche rechtlich geschützte Interesse ergibt sich diesfalls nicht aus einer Berechtigung in der Sache selbst, sondern aus der Berechtigung, am Verfahren teilzunehmen (<ref-ruling> E. 1.3 S. 80; <ref-ruling> E. 2 S. 308; <ref-ruling> E. 6.2 S. 198 f.; je mit Hinweisen). Die Beschwerdeführer, denen das Verwaltungsgericht die Beschwerdelegitimation im vorinstanzlichen Verfahren abgesprochen hat, sind daher in diesem Umfang zur Beschwerde berechtigt.
1.4. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann, von hier nicht interessierenden weiteren Möglichkeiten abgesehen, namentlich die Verletzung von Bundesrecht gerügt werden (<ref-law>).
2.
Die Beschwerdegegnerin beruft sich teilweise, insbesondere im Zusammenhang mit dem Zugang zu ihrer Parzelle, auf andere tatsächliche Verhältnisse als sie vom Verwaltungsgericht festgestellt worden sind. Nach <ref-law> legt das Bundesgericht seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde, es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einem erheblichen Verstoss gegen Verfahrensrecht (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es würde der Beschwerdegegnerin obliegen, nicht nur andere Sachumstände anzurufen, sondern darzutun, weshalb die gesetzlichen Voraussetzungen für die Korrektur des Sachverhalts erfüllt bzw. insbesondere die Feststellungen des Verwaltungsgerichts offensichtlich unrichtig sein sollten. Einfach wie die Beschwerdegegnerin andere Tatsachen zu behaupten, genügt im bundesgerichtlichen Verfahren nicht. Es ist hier daher uneingeschränkt auf die für das Bundesgericht verbindlichen Sachverhaltsfeststellungen des Verwaltungsgerichts abzustellen.
3.
3.1. Die Beschwerdeführer rügen eine Verletzung von Art. 89 Abs. 1 in Verbindung mit <ref-law> und Art. 33 RPG. Gemäss Art. 33 Abs. 3 lit. a RPG ist die Legitimation in kantonalen Verfahren betreffend Nutzungspläne und raumplanerische Verfügungen, insbesondere Baubewilligungen, mindestens im gleichen Umfang gewährleistet wie für die Beschwerde in öffentlich-rechtlichen Angelegenheiten. Gleiches ergibt sich aus <ref-law> (Grundsatz der Einheit des Verfahrens). Zu prüfen ist daher, ob die Beschwerdeführer nach den für die Beschwerde in öffentlich-rechtlichen Angelegenheiten geltenden Kriterien gemäss <ref-law> zur Beschwerde befugt wären (vgl. dazu <ref-ruling> E. 2.1 S. 283 f.; Urteil des Bundesgerichts 1C_475/ 2019 vom 29. Januar 2020 E. 3.3.1).
3.2. Gemäss <ref-law> ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a), durch den angefochtenen Entscheid besonders berührt ist (lit. b) und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung besitzt (lit. c). Die Rechtsprechung bejaht ein schutzwürdiges Interesse im Sinne von <ref-law>, wenn der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht. Die Nähe der Beziehung zum Streitgegenstand muss bei Bauprojekten insbesondere in räumlicher Hinsicht gegeben sein (<ref-ruling> E. 2.1 S. 52). Nach der bundesgerichtlichen Rechtsprechung sind Nachbarn zur Beschwerdeführung gegen ein Bauvorhaben legitimiert, wenn sie mit Sicherheit oder zumindest grosser Wahrscheinlichkeit durch Immissionen wie Lärm, Staub, Erschütterungen, Licht oder andere Einwirkungen betroffen werden, die der Bau oder Betrieb der fraglichen Anlage hervorruft. Als wichtiges Kriterium zur Beurteilung der Betroffenheit dient in der Praxis die räumliche Distanz zum Bauvorhaben. Die Rechtsprechung bejaht in der Regel die Legitimation von Nachbarn, deren Liegenschaften sich in einem Umkreis von bis zu rund 100 m befinden. Bei grösseren Entfernungen muss eine Beeinträchtigung glaubhaft gemacht und gestützt auf eine Gesamtwürdigung der konkreten Verhältnisse beurteilt werden (<ref-ruling> E. 2.3 S. 220 f. mit Hinweisen). Der Beeinträchtigung muss ein gewisses Gewicht zukommen, um eine Betroffenheit zu begründen, die grösser ist als diejenige der Allgemeinheit (Urteil des Bundesgerichts 1C_475/2019 vom 29. Januar 2020 E. 3.3.2; vgl. zum Ganzen etwa AEMISEGGER/HAAG, Praxiskommentar RPG: Baubewilligung, Rechtsschutz und Verfahren, 2020, Art. 33 Rz. 59 ff.; BERNHARD WALDMANN, in: Niggli et al. [Hrsg.], Bundesgerichtsgesetz, Basler Kommentar, 3. Aufl. 2018, Art. 89 N. 21).
3.3. Das Verwaltungsgericht hielt im angefochtenen Urteil für das Bundesgericht verbindlich fest, dass die räumliche Distanz zwischen der im Miteigentum der Beschwerdeführer stehenden Parzelle 779 und dem Baugrundstück 1868 weniger als 50 m beträgt. Die ebenfalls den Beschwerdeführern als Miteigentümer gehörende Parzelle 2462 grenzt im südlichen Bereich sogar unmittelbar an das Baugrundstück. Nach der bundesgerichtlichen Rechtsprechung ist bei unmittelbar angrenzenden Liegenschaften ein besonderes Berührtsein allein schon aufgrund der räumlichen Nähe zu bejahen. Es besteht grundsätzlich kein Raum, wie das Verwaltungsgericht im angefochtenen Entscheid auf die besondere Beschaffenheit oder Lage abzustellen. Genauso wenig kommt es darauf an, ob die benachbarten Parzellen überbaut oder überbaubar sind.
3.4. Selbst wenn bei der nicht unmittelbar an das Baugrundstück angrenzenden Parzelle 779 die Raumverhältnisse zu berücksichtigen wären, würde dies an der massgeblichen Betroffenheit der Beschwerdeführer nichts ändern. Dass die Parzelle mit grosser Wahrscheinlichkeit kaum je überbaut wird, wie die Vorinstanz annimmt, ist spekulativ, wie die Beschwerdeführer zu Recht vorbringen. Das landwirtschaftliche Grundstück verfügt über eine Fläche von mehr als 80'000 m2. Obwohl es von der Wintersportzone überlagert ist, sind zonenkonforme landwirtschaftliche Bauten nicht ausgeschlossen, was angesichts der kurzen Distanz von 50 m zum Baugrundstück 1868 für die Legitimation der Beschwerdeführer genügt.
3.5. Erst recht trifft dies zu für die Parzelle 2462. Über dieses Grundstück führt die Zufahrt zur Bauparzelle 1868. Auch das Verwaltungsgericht geht ausdrücklich davon aus, dass die Weg- und Wiesenparzelle 2462, auf der sich teilweise die Via Suvretta befindet, im "Umfang eines Spickels" befahren wird, um zum Baugrundstück zu gelangen. Die Parzelle der Beschwerdeführer dient mithin unter anderem der Erschliessung der neu geplanten Wohnung im ersten Untergeschoss. Diese Erschliessung führt zwangsläufig zu Zusatzverkehr auf dem Weggrundstück. Für die Frage der Betroffenheit kommt es dabei, allenfalls im Unterschied zur materiellen Beurteilung der Rechtslage, nicht darauf an, wie stark diese Zusatzbelastung ausfällt.
3.6. Das Verwaltungsgericht verneinte das schutzwürdige Interesse der Beschwerdeführer, weil die von den Beschwerdeführern angefochtene Projektänderung lediglich den Innenausbau betreffe, was die Beschwerdeführer nicht belaste. Das trifft jedoch schon deshalb nicht zu, weil, wie dargelegt, mit dem Bauvorhaben ein potentieller Zusatzverkehr auf einem Grundstück der Beschwerdeführer verbunden ist. Überdies berufen sich diese zu Recht auf ein schutzwürdiges praktisches Interesse mit Blick auf mögliche nachbarschaftsrechtliche Abwehransprüche der künftigen Bewohner der geplanten Wohnung gegenüber Immissionen aus ihrem Landwirtschaftsbetrieb. Dass sie dies nicht auch schon bei den früheren Projektvarianten vorgebracht, sondern bisher auf Einsprachen verzichtet hatten, schadet ihnen nicht. Abgesehen davon war bisher nur der Neubau des vorbestandenen, weitgehend als Ferienunterkunft genutzten Wohnteils geplant, währenddem nunmehr neu eine als Erstwohnung vorgesehene Wohneinheit hinzukommen soll, die grundsätzlich ständig genutzt werden soll bzw. nicht bloss als Zweit- oder Ferienwohnung verwendet werden darf. Dass die Beschwerdeführer ihren Standpunkt missbräuchlich geltend machen würden, wird von keiner Seite behauptet und ist auch nicht ersichtlich.
3.7. Im Übrigen richtet sich die Beschwerdelegitimation ausschliesslich nach <ref-law>. Sind die entsprechenden Voraussetzungen erfüllt, sind die Beschwerdeführer mit sämtlichen der in <ref-law> aufgeführten Rügen zum Verfahren zuzulassen (<ref-ruling> E. 6.4 S. 314; <ref-ruling> E. 2.3 S. 34). Die Beschwerdeführer können daher die Überprüfung eines Bauvorhabens im Lichte all jener Rechtssätze verlangen, die sich rechtlich oder tatsächlich in dem Sinne auf ihre Stellung auswirken, dass ihnen im Falle des Obsiegens ein praktischer Nutzen entsteht (<ref-ruling> E. 2.1 S. 52). Insbesondere können sie sich auch gegen den Innenausbau wenden, wenn damit entsprechende Auswirkungen verbunden sind, wie das im vorliegenden Zusammenhang mit dem geplanten Einbau einer zusätzlichen Wohnung zutrifft.
3.8. Der angefochtene Entscheid verletzt demnach Bundesrecht, indem er den Beschwerdeführern die Legitimation zur Beschwerde vor dem Verwaltungsgericht abspricht.
4.
Die Beschwerde erweist sich als begründet und ist gutzuheissen. Das angefochtene Urteil muss aufgehoben werden, und die Streitsache ist an das Verwaltungsgericht zurückzuweisen zur materiellen Prüfung sowie zu neuem Entscheid über die Kosten- und Entschädigungsfolgen vor der Vorinstanz.
Bei diesem Verfahrensausgang wird die unterliegende Beschwerdegegnerin kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG). Sie hat die Beschwerdeführer überdies für das bundesgerichtliche Verfahren angemessen zu entschädigen (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, und das Urteil des Verwaltungsgerichts des Kantons Graubünden vom 21. Mai 2019 wird aufgehoben. Die Streitsache wird an das Verwaltungsgericht des Kantons Graubünden zurückgewiesen zu materieller Prüfung sowie zu neuem Entscheid über die Kosten- und Entschädigungsfolgen im vorinstanzlichen Verfahren.
2.
Die Gerichtskosten von Fr. 4'000.-- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 4'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Gemeinde St. Moritz und dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 16. April 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Uebersax