Sachverhalt:
A.
C._ beabsichtigt, auf der Parzelle Nr. 1764 in Samedan ein Zweifamilienhaus zu erstellen. Das Grundstück soll verkehrsmässig sowohl von Norden als auch von Süden her erschlossen werden. Im Norden verläuft die Via Quadrellas, von welcher eine Einfahrt in ein auf der Nordwestseite des projektierten Gebäudes geplantes Parkdeck für einen Abstellplatz geplant ist. Die Zufahrt von Süden ist über die Parzelle Nr. 507 und zu einem kleinen Teil über die Parzelle Nr. 1445 von der Via Crusch vorgesehen. Die südliche, untere Erschliessung ist für zwei in einer Unterniveaugarage geplante Autoeinstellplätze bestimmt.
Gegen das vom 29. Mai 2015 datierende Baugesuch erhoben D._ sel. (verstorben am 3. November 2014, vertreten durch E._) und B._ Einsprache. Am 9. November 2015 wies die Gemeinde Samedan die Einsprache ab, soweit sie darauf eintrat, und bewilligte das Baugesuch. Eine von D._ sel. und B._ dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Urteil vom 11. Oktober 2016 ab.
B.
Mit Beschwerde ans Bundesgericht vom 12. Dezember 2016 beantragen A._ und B._, das Urteil des Verwaltungsgerichts und der Entscheid der Gemeinde seien aufzuheben. A._ weist sich als Alleinerbe von D._ sel. aus.
Das Verwaltungsgericht, der Beschwerdegegner und die Gemeinde beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Beschwerdeführer halten in ihrer Stellungnahme dazu an ihren Anträgen und Rechtsauffassungen fest.
Mit Präsidialverfügung vom 19. Januar 2017 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
Die Beschwerde richtet sich gegen einen kantonal letztinstanzlichen Entscheid in einer öffentlich-rechtlichen Angelegenheit, der das Verfahren abschliesst (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Der Beschwerdeführer 1 ist Gesamtrechtsnachfolger der verstorbenen Beschwerdeführerin des kantonalen Verfahrens (<ref-law> i.V.m. <ref-law> [SR 273]). Er und der Beschwerdeführer 2 sind als Miteigentümer benachbarter Grundstücke zur Beschwerde berechtigt (<ref-law>). Auf ihre Beschwerde ist einzutreten.
2.
2.1. Die Beschwerdeführer rügen im bundesgerichtlichen Verfahren einzig die Erschliessung, die sie als unzureichend erachten.
2.2. Die Erteilung einer Baubewilligung setzt voraus, dass das Baugrundstück erschlossen ist (Art. 22 Abs. 2 lit. b RPG [SR 700]). Gemeint ist damit die Gesamtheit aller Einrichtungen, die notwendig sind, damit ein Grundstück zonen- und bauordnungsgerecht genutzt werden kann. Land ist erschlossen, wenn unter anderem eine für die betreffende Nutzung hinreichende Zufahrt besteht (Art. 19 Abs. 1 RPG, Art. 58 Abs. 4 des Raumplanungsgesetzes vom 6. Dezember 2004 für den Kanton Graubünden [KRG; BR 801.100]). Für den Wohnungsbau präzisiert Art. 4 des Wohnbau- und Eigentumsförderungsgesetzes vom 4. Oktober 1974 (WEG; SR 843) den Begriff der Erschliessung. Die einzelnen Anforderungen ergeben sich im Detail erst aus dem kantonalen Recht und der kantonalen Gerichts- und Verwaltungspraxis, die sich am bundesrechtlichen Rahmen zu orientieren haben. Das entsprechende kantonale Recht kann insbesondere das Ausmass der Erschliessungsanlagen und die Anforderungen an die genügende Zugänglichkeit in abstrakter Weise festlegen (vgl. <ref-ruling> E. 3.4; Urteil 1C_376/2007 vom 31. März 2008 E. 4.1; je mit Hinweisen). Bei der Beurteilung, ob eine Zufahrt ein Baugrundstück hinreichend erschliesst, steht den kantonalen und kommunalen Behörden ein erhebliches Ermessen zu. Das Bundesgericht überprüft die Auslegung und Anwendung des kantonalen Rechts nur auf Willkür hin (a.a.O., E. 4.2; <ref-ruling> E. 3a S. 68 mit Hinweisen).
Hinter dem Erschliessungserfordernis der Zufahrt gemäss Art. 19 Abs. 1 RPG stehen vorab verkehrs-, gesundheits- und feuerpolizeiliche Überlegungen. Eine hinreichende Zufahrt besteht, wenn die Zugänglichkeit sowohl für die Benützer der Bauten als auch für Fahrzeuge der öffentlichen Dienste (Feuerwehr, Krankenwagen, Kehrichtabfuhr, Elektrizitäts- und Wasserwerke etc.) gewährleistet ist. Aus bundesrechtlicher Sicht genügt es, wenn eine Zufahrtsstrasse hinreichend nahe an Bauten und Anlagen heranführt. Die befahrbare Strasse muss nicht bis zum Baugrundstück oder gar zu jedem einzelnen Gebäude reichen; vielmehr genügt es, wenn Benützer und Besucher mit dem Motorfahrzeug (oder einem öffentlichen Verkehrsmittel) in hinreichende Nähe gelangen und von dort über einen Weg zum Gebäude oder zur Anlage gehen können (Urteil 1C_376/2007 vom 31. März 2008 E. 4.4 mit Hinweisen; vgl. auch ELOI JEANNERAT, in: Praxiskommentar RPG: Nutzungsplanung, 2016, N. 14 zur Art. 19 RPG).
2.3. Die bundesrechtlichen Anforderungen an die Erschliessung des Baugrundstücks werden vorliegend dadurch erfüllt, dass dieses im Norden an die Via Quadrellas angeschlossen ist. Das Bauprojekt sieht in diesem Bereich eine Einfahrt und ein Parkdeck vor. Damit ist die Zugänglichkeit sowohl für die Benützer der geplanten Baute als auch für die Fahrzeuge der öffentlichen Dienste gewährleistet. Die Beschwerdeführer bezeichnen diese Erschliessung denn auch nicht als unzureichend. Ihre Kritik richtet sich vielmehr auf die südliche Zufahrt zur Unterniveaugarage, wo zwei weitere nach kommunalem Recht vorgesehene Pflichtparkplätze erstellt werden sollen (Art. 9 des kommunalen Baugesetzes vom 15. Dezember 2005 [im Folgenden: BG]). Das Bundesgericht überprüft den angefochtenen Entscheid in dieser Hinsicht auf Willkür (vgl. in diesem Zusammenhang Urteil 1C_193/2007 vom 18. Januar 2008 E. 3.3).
2.4. Die Beschwerdeführer bringen vor, der betreffende Weg sei äusserst schmal und sehr unübersichtlich. Gemäss der Darstellung im Geoportal sei er an der schmalsten Stelle nur 2 m breit. Zudem weise er eine Steigung von bis zu 19 % auf. Sein Zustand sei schlecht, was aus der am Augenschein des Verwaltungsgerichts erstellten Fotodokumentation ersichtlich sei. Damit er als Zufahrt dienen könne, sei ein Ausbau notwendig, was eine Baubewilligung erfordere. Die Eigentümer der dienstbarkeitsbelasteten Parzelle Nr. 507, über die der Weg führe, lehnten das Bauprojekt ab, weshalb ein entsprechendes Baugesuch nicht bewilligt werden könnte. Auch würden sie es kaum zulassen, wenn Pflanzen neben dem Weg zurückgeschnitten oder Schnee auf die Seite geräumt würde. Weiter sei Art. 12 BG zu beachten, wonach offene Rampen als Zufahrten zu Strassen eine maximale Steigung von 12 % aufweisen dürften. Unbestritten und aufgrund der Akten erstellt sei auch, dass die Vorgaben der Vereinigung Schweizerischer Strassenfachleute (VSS) weder bezüglich der Steigung noch der Breite der Strasse erfüllt seien. Schliesslich widerspreche es dem haushälterischen Umgang mit dem Boden, das Grundstück über einen Weg von 100 m Länge von Süden her zu erschliessen.
2.5. Das Verwaltungsgericht legte dar, die zu Gunsten der Bauparzelle und zu Lasten der Parzelle Nr. 507 bestehende Grunddienstbarkeit sei gemäss dem Situationsplan, welcher dem Dienstbarkeitsvertrag angefügt worden sei, örtlich genau festgelegt und lasse das regelmässige Befahren mit Motorfahrzeugen zu. Die Instandhaltung bzw. der Unterhalt der bestehenden Strasse sei gestützt auf Art. 737 und 741 ZGB möglich. Entgegen der Auffassung der Beschwerdeführer brauche es keine über den blossen Unterhalt hinausgehenden Massnahmen, weshalb eine Baubewilligung nicht erforderlich sei. Dies sei am gerichtlichen Augenschein bestätigt worden. Auch das Wenden oder Manövrieren von Fahrzeugen sei auf dem Platz vor der Tiefgarageneinfahrt gewährleistet. Die Neigung vor der Doppelgarage betrage 9.3 % und sei daher mit Art. 12 Abs. 2 BG, wonach eine Maximalneigung von 12 % gelte, vereinbar. Die Bestimmung komme im Übrigen nicht für die gesamte Zufahrtslänge von rund 100 m zur Anwendung. Die Rampenneigung gelte nur bei Ein- und Ausfahrten von Tiefgaragen, die danach unmittelbar in eine Strasse einmündeten und daher wegen ihrer Neigung eine ernsthafte Gefahr für die übrigen Verkehrsteilnehmer darstellten. Die VSS-Normen seien hier aus demselben Grunde nicht anwendbar, weil sie ausschliesslich auf die Verkehrssicherheit im Sinne von Art. 15 BG ausgerichtet seien, wonach Ausfahrten und Ausgänge auf Strassen die Benützer der Verkehrsanlagen nicht gefährden (Abs. 1) und keine Seh- oder Sichtbehinderungen enthalten dürften (Abs. 2). Dass der bestehende Einmündungsbereich eine Gefahr für die übrigen Verkehrsteilnehmer auf der Via Crusch darstelle, behaupteten die Beschwerdeführer zu Recht nicht.
2.6. Art. 12 BG sieht, soweit vorliegend von Interesse, Folgendes vor:
1 Einstellhallen und Garagen mit direkter Ausfahrt auf öffentliche Strassen, Wege und Plätze müssen einen Vorplatz von mindestens 5 m Länge und 3 m Breite aufweisen.
2 Offene Rampen dürfen eine maximale Neigung von 12 % aufweisen. Bei Rampen an öffentliche oder öffentlich zugängliche Strassen muss zwischen der Strassengrenze und dem Beginn der Neigung ein Vorplatz mit einer Neigung von höchstens 5 % und von mindestens 4 m Länge vorhanden sein. [...]
Wenn das Verwaltungsgericht gestützt auf diese Vorschriften nicht verlangte, dass der gesamte Zufahrtsweg eine Neigung von höchstens 12 % aufweist, erscheint dies als haltbar. Wie aus der Bestimmung hervorgeht, dient diese der Gewährleistung der Verkehrssicherheit und ist auf Situationen zugeschnitten, wo eine steile Ausfahrt unmittelbar in eine Strasse einmündet. Eine derartige Situation liegt hier nicht vor.
Dass der Verwendung des bestehenden Zufahrtswegs anderweitig Gründe der Verkehrssicherheit entgegenstünden, machen die Beschwerdeführer nicht geltend und ist auch nicht ersichtlich. Aus diesem Grund geht auch ihr pauschaler Hinweis auf die VSS-Normen fehl. Gemäss der Rechtsprechung dürfen diese Richtlinien zur Beurteilung des Ausbaustandards von Strassen nicht allzu schematisch und starr gehandhabt werden, zumal die Festlegung des Ausmasses der Erschliessungsanlagen und die Umschreibung der genügenden Zugänglichkeit letztlich Sache des kantonalen Rechts ist (<ref-ruling> E. 5b S. 350 mit Hinweis; Urteil 1C_376/2007 vom 31. März 2008 E. 4.4). Ausschlaggebend sind immer die konkreten Verhältnisse (Urteile 1C_157/2008 vom 10. Juli 2008 E. 2.2; 1C_375/2011 vom 28. Dezember 2011 E. 3.3.3; je mit Hinweisen). Das Verwaltungsgericht durfte in dieser Hinsicht berücksichtigen, dass der Zufahrtsweg ausschliesslich der Erschliessung des Baugrundstücks dient. Eine früher bestehende Berechtigung der Eigentümer des benachbarten Grundstücks wurde mittlerweile aufgehoben. Angesichts der wenigen zu erwartenden Fahrbewegungen erscheint vertretbar, eine nur bescheiden ausgebaute Zufahrt genügen zu lassen (vgl. Urteil 1C_237/2007 vom 13. Februar 2008 E. 4.3).
Weiter erweist sich auch die Auslegung des zu Gunsten des Baugrundstücks bestehenden Wegrechts durch die Vorinstanz vertretbar. Aus den am Augenschein erstellten Fotos wird zwar ersichtlich, dass der Strassenbelag am Rand überwachsen und die Sicht durch wuchernde Pflanzen beeinträchtigt ist. Indessen sieht <ref-law> vor, dass der Berechtigte befugt ist, alles zu tun, was zur Erhaltung und Ausübung der Dienstbarkeit nötig ist (<ref-ruling> E. 3a S. 30 mit Hinweis). Die Ausübung des Wegrechts ist damit rechtlich abgesichert. Dies betrifft sowohl das Entfernen des Pflanzenbewuchs als auch das Zurückschneiden der Pflanzen und die Schneeräumung. Wenn die Vorinstanz davon ausging, dass die Zufahrt nach entsprechenden Unterhaltsarbeiten wieder problemlos befahrbar sei, erscheint dies umso weniger als willkürlich, als diese Zufahrt, wie bereits erwähnt, bereits dem benachbarten Grundstück für denselben Zweck gedient hatte (<ref-law>). Gemäss den in den Akten befindlichen Messungen des kommunalen Nachführungsgeometers aus dem Jahr 2015 ist die Zufahrt an der engsten Stelle 2.42 m breit. Weshalb diese Messungen unzuverlässig sein sollten, zeigen die Beschwerdeführer nicht auf und ist auch nicht ersichtlich. Schliesslich stehen der weiteren Verwendung der bereits erstellten Strasse auch keine raumplanerischen Gründe entgegen (vgl. dazu JEANNERAT, a.a.O., N. 34 zu Art. 19 RPG). Der angefochtene Entscheid hält somit einer Willkürprüfung ohne Weiteres stand.
3.
Insgesamt erweist sich die Kritik der Beschwerdeführer an der vorinstanzlichen Beurteilung der Erschliessung des Baugrundstücks als unbegründet. Die Beschwerde ist deshalb abzuweisen.
Bei diesem Verfahrensausgang sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (<ref-law>). Die Beschwerdeführer haben dem anwaltlich vertretenen Beschwerdegegner eine angemessene Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben dem Beschwerdegegner eine Parteientschädigung von Fr. 3'000.-- auszurichten.
4.
Dieses Urteil wird den Parteien, der Gemeinde Samedan und dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 7. August 2017
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Karlen
Der Gerichtsschreiber: Dold