Sachverhalt:
A. Mit Verfügungen vom 10. April 2008 wurden X._ und Y._ von der Steuerverwaltung des Kantons Graubünden für die Steuerperiode vom 1. Januar bis zum 31. Dezember 2006 für die direkte Bundessteuer, für die Kantonssteuer und für die Gemeindesteuer definitiv veranlagt. Die dagegen erhobenen Einsprachen wurden mit Entscheiden vom 28. September 2009 teilweise gutgeheissen und die direkte Bundessteuer und die Kantonssteuer herabgesetzt. Die Steuerpflichtigen erhoben dagegen Beschwerde an das Verwaltungsgericht des Kantons Graubünden und beantragten die Reduktion der Eigenmiete der von ihnen selbstgenutzten Wohnung und des Eigenmietwertes der vorübergehend vom Enkel der Erblasserin belegten Wohnung der Erbengemeinschaft A._ sowie den Abzug der geltend gemachten behinderungsbedingten Kosten für Fahrten ans Meer.
B. Mit Urteil vom 2. Februar 2010 hiess das Verwaltungsgericht des Kantons Graubünden die Beschwerde von X._ und Y._ betreffend Kantons- und direkte Bundessteuer teilweise gut und wies die Sache zur Neuveranlagung aufgrund eines reduzierten Eigenmietwertes für die von den Steuerpflichtigen selbstgenutzte Wohnung an die kantonale Steuerverwaltung zurück. Im Übrigen wies es die Beschwerde ab. Es hielt fest, dass die Gemeindesteuer nicht Gegenstand des Beschwerdeverfahrens bildete.
Am 17. Februar 2010 reichte die Steuerverwaltung des Kantons Graubünden beim Verwaltungsgericht ein "Revisionsgesuch" ein. Sie machte geltend, sie sei hinsichtlich Eigenmietwertbesteuerung so vorgegangen wie vom Verwaltungsgericht verlangt. Dieses habe eine aktenkundige, erhebliche Tatsache aus Versehen nicht gewürdigt. Mit Eingabe vom 15. März 2010 haben X._ und Y._ eine Stellungnahme zum "Revisionsgesuch der Steuerverwaltung" sowie ein eigenes "Revisionsgesuch" eingereicht, womit sie die Abweisung des Revisionsgesuches der Steuerverwaltung betreffend die Berechnung des Eigenmietwertes der selbstgenutzten Wohnung, die Reduktion des Eigenmietwertes für die dem Verwandten unentgeltlich zur Verfügung gestellte Wohnung sowie die Abzugsfähigkeit der Transportkosten ans Meer beantragen.
C. Das Verwaltungsgericht des Kantons Graubünden leitete das Revisionsgesuch der kantonalen Steuerverwaltung (Verfahren 2C_259/ 2010) sowie die Eingabe von X._ und Y._ vom 15. März 2010 (Verfahren 2C_258/2010) zur Behandlung an das Bundesgericht weiter. Die kantonale Steuerverwaltung erklärte mit Schreiben vom 1. April 2010, sie habe nicht Beschwerde an das Bundesgericht erheben wollen, weshalb die Beschwerde zurückgezogen werde. Das Verfahren 2C_259/2010 wurde daher zufolge Rückzugs der Beschwerde mit Verfügung des Bundesgerichts vom 7. April 2010 abgeschrieben.
D. Das Verwaltungsgericht des Kantons Graubünden beantragt, die Beschwerde von X._ und Y._ abzuweisen, soweit darauf einzutreten ist. Die Steuerverwaltung des Kantons Graubünden sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde. Die Steuerpflichtigen haben sich mit Eingabe vom 4. Oktober 2010 zu den Vernehmlassungen geäussert.

Erwägungen:
1. 1.1 Gegen den angefochtenen Entscheid des Verwaltungsgerichts des Kantons Graubünden steht gemäss <ref-law> in Verbindung mit <ref-law> sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14), beide in der Fassung gemäss Anhang Ziff. 57 bzw. 58 des Bundesgesetzes vom 17. Juni 2005 über das Bundesverwaltungsgericht (VGG; SR 173.32), grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen.
1.2 Gemäss <ref-law> ist die Beschwerde an das Bundesgericht zulässig gegen Entscheide, die das Verfahren abschliessen (sog. Endentscheide). Das Verwaltungsgericht weist mit seinem Urteil vom 2. Februar 2010 die Sache zur Ermittlung des Eigenmietwertes für die selbstgenutzte Wohnung und zur anschliessenden Neufestlegung des steuerbaren Einkommens an die kantonale Steuerverwaltung zurück. Selbst wenn Rückweisungsentscheide das Verfahren nicht abschliessen, werden sie dennoch wie Endentscheide behandelt, falls der unteren Instanz, an welche die Sache zurückgewiesen wird, kein Entscheidungsspielraum mehr verbleibt und die Rückweisung nur noch der rechnerischen Umsetzung des oberinstanzlich Angeordneten dient (vgl. <ref-ruling> E. 1.1 S. 143; <ref-ruling> E. 1.3 S. 127; Urteile 2C_256/2010 vom 6. September 2010 E. 1.4 und 2C_258/2008 vom 27. März 2009, in: StE 2009 B 96.21 N. 14 E. 3.3, je mit Hinweisen). Eine solche Konstellation liegt bei einem Rückweisungsentscheid, mit dem - wie hier - bloss noch eine Aufrechnung rechnerisch ermittelt werden muss, vor. Die Beschwerdeführer sind gestützt auf <ref-law> zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert; auf das frist- und formgerecht eingereichte Rechtsmittel ist grundsätzlich einzutreten.
1.3 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen.
1.4 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich (vgl. <ref-ruling> E. 7.1 S. 398) ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
I. Direkte Bundessteuer
2. Nachdem die kantonale Steuerverwaltung ihre Beschwerde zurückgezogen hat, ist der Eigenmietwert für die selbstgenutzte Wohnung nicht mehr strittig. Die diesbezüglichen Ausführungen der Beschwerdeführer sind daher gegenstandslos und insoweit ist auf die Eingabe nicht einzutreten. Zu prüfen ist somit nur noch die Mietwertaufrechnung für die unentgeltlich einem Verwandten zur Verfügung gestellte Wohnung sowie der verweigerte Abzug der Kosten für die Fahrten ans Meer.
3. 3.1 Steuerbar sind nach <ref-law> die Erträge aus unbeweglichem Vermögen; dazu gehört der Mietwert von Liegenschaften oder Liegenschaftsteilen, die dem Steuerpflichtigen aufgrund von Eigentum oder eines unentgeltlichen Nutzungsrechts für den Eigengebrauch zur Verfügung stehen (<ref-law>).
3.2 Nach grundsätzlich verbindlicher Sachverhaltsfeststellung der Vorinstanz stand die 6-Zimmer-Wohnung der Erbengemeinschaft, woran der Beschwerdeführer zur Hälfte beteiligt ist, in der fraglichen Steuerperiode dem Enkel der Erblasserin, B._, und damit einem Verwandten zum unentgeltlichen Gebrauch zur Verfügung.
Gemäss der Wohnsitzbescheinigung der Gemeinde Haldenstein war B._ vom 24. September 2005 bis zum 6. Juni 2008 in Haldenstein wohnhaft. Dass er ab dem 19. Oktober 2006 in St. Gallen als Wochenaufenthalter angemeldet war und während dieser Zeit die fragliche Wohnung - wie von den Beschwerdeführern geltend gemacht - nicht tatsächlich belegte und sich ausserdem teilweise in den USA oder andernorts aufhielt, erachtete die Vorinstanz zu Recht als unerheblich. Auch die Frage, ob und wann für die fragliche Wohnung ein Festnetzanschluss bestand, ist nicht von Belang. Was die Beschwerdeführer vorbringen, vermag die vorinstanzliche Feststellung, dass B._ in der vorliegend relevanten Zeitspanne in der Gemeinde Haldenstein angemeldet war und ihm die Wohnung zur unentgeltlichen Benutzung zur Verfügung stand, nicht als offensichtlich unrichtig erscheinen lassen.
3.3 Weiter hielt die Vorinstanz fest, der Eigenmietwert dieser Wohnung betrage nach nicht angefochtener und somit massgebender Schätzung vom 23. Juni 2004 Fr. 11'760.--. Die Beschwerdeführer reichten zwar Fotos ein, die beweisen sollten, dass die Wohnung nicht bewohnbar und somit nicht vermietbar war. Die Vorinstanz stellte diesbezüglich fest, die Fotos belegten lediglich die ordentliche Abnützung und keine ausserordentlichen Zwischenfälle. Die Beschwerdeführer weisen nicht nach, dass diese Feststellung offensichtlich unrichtig wäre. Insbesondere belegen sie nicht, dass seit der im Juni 2004 vorgenommenen Schätzung durch ausserordentliche Umstände eine derartige Wertabnahme bzw. Beeinträchtigung der Wohnung eingetreten wäre, dass von einer Unbewohnbarkeit oder von einem klar tieferen Mietwert auszugehen wäre. Dass die Vorinstanz den Eigenmietwert gemäss der obgenannten amtlichen Schätzung für die Ermittlung des vorliegend aufzurechnenden Betrages als massgebend betrachtet, ist daher nicht zu beanstanden.
3.4 Die rechtlichen Grundlagen für die vorgenommene Aufrechnung des Mietwertes werden von den Beschwerdeführern zu Recht nicht bestritten. Unter diesen Umständen kann diesbezüglich auf die Ausführungen der Vorinstanz verwiesen werden.
4. 4.1 Gemäss <ref-law> können die Krankheits- und Unfallkosten von den Einkünften abgezogen werden, soweit der Steuerpflichtige die Kosten selber trägt und diese 5 Prozent der um die Aufwendungen verminderten steuerbaren Einkünfte übersteigen. Steuerpflichtige mit Behinderungen im Sinne des Behindertengleichstellungsgesetzes vom 13. Dezember 2002 (BehiG; SR 151.3) können zudem behinderungsbedingte Kosten gemäss Art. 33 Abs. 1 lit. hbis DBG vollumfänglich (ohne Selbstbehalt) von den Einkünften abziehen, soweit sie die Kosten selber tragen. Als Personen mit Behinderung gelten nach <ref-law> diejenigen, denen eine voraussichtlich dauernde körperliche, geistige oder psychische Beeinträchtigung erschwert oder verunmöglicht, alltägliche Verrichtungen vorzunehmen, soziale Kontakte zu pflegen, sich fortzubewegen, sich aus- und fortzubilden oder eine Erwerbstätigkeit auszuüben.
4.2 Die Eidgenössische Steuerverwaltung (ESTV) hat zur Bestimmung von Art. 33 Abs. 1 lit. h und hbis DBG das Kreisschreiben Nr. 11 vom 31. August 2005 über den Abzug von Krankheits- und Unfallkosten sowie von behinderungsbedingten Kosten erlassen (publ. in: StR 60/2005 S. 795 ff. sowie www.estv.admin.ch; nachfolgend Kreisschreiben Nr. 11).
Als Verwaltungsweisung richtet sich das Kreisschreiben vorab an die Vollzugsorgane und ist für das Gericht nicht verbindlich. Dieses berücksichtigt Direktiven in Kreisschreiben aber bei seiner Entscheidung, sofern sie eine dem Einzelfall angepasste und gerecht werdende Auslegung der anwendbaren gesetzlichen Bestimmungen zulassen. Das Gericht weicht also nicht ohne triftigen Grund von Verwaltungsweisungen ab, wenn diese eine überzeugende Konkretisierung der rechtlichen Vorgaben darstellen. Insofern wird dem Bestreben der Verwaltung, durch interne Weisungen eine rechtsgleiche Gesetzesanwendung zu gewährleisten, Rechnung getragen (<ref-ruling> E. 5.4.2 S. 352 mit Hinweisen).
4.3 Als behinderungsbedingte Kosten im Sinne von Art. 33 Abs. 1 lit. hbis DBG gelten jene Kosten, die als Folge einer Behinderung entstehen und weder Lebenshaltungs- noch Luxusausgaben darstellen (Ziff. 4.2 des Kreisschreibens Nr 11). Unter Ziffer 4.3.6 (Transport- und Fahrzeugkosten) hält das Kreisschreiben Nr. 11 fest:
"Durch die Behinderung verursachte Kosten für den Transport zum Arzt, zu Therapien, zu Tagesstätten etc. können abgezogen werden. Zum Abzug zugelassen sind dabei die Kosten des öffentlichen Verkehrsmittels oder eines Behindertenfahrdienstes. Ist deren Benützung nicht möglich oder zumutbar, können die Kosten eines privaten Motorfahrzeugs (Kilometerentschädigung) abgezogen werden.
Kosten für übrige Transporte (insbesondere Freizeitfahrten) sind in der Regel nicht als behinderungsbedingte Kosten abzugsfähig. (...)"
Transportkosten sind somit zum Abzug zuzulassen, wenn der Kausalzusammenhang zwischen Behinderung und Kosten rechtsgenüglich feststeht. Dies wird immer dann angenommen, wenn sich eine behinderte Person wegen ihrer Behinderung zum Arzt, zu einer Therapie usw. begeben muss (vgl. Rainer Zigerlig/Guido Jud, in: Martin Zweifel/ Peter Athanas (Hersg.), Komm. zum Schweiz. Steuerrecht I/2a, 2. Auflage, <ref-law> N 32w). Davon gehen vorliegend auch die kantonale Steuerverwaltung, die Vorinstanz sowie die Eidgenössische Steuerverwaltung aus.
4.4 Die Beschwerdeführer verlangen den Abzug von Transportkosten (ursprünglich) mit der Begründung, dem Ehemann sei wegen seiner Behinderung der Aufenthalt am Meer ärztlich verordnet worden. In ihrer Eingabe vom 15. März 2010 bezeichnen sie die fraglichen Transportkosten zwar als krankheitsbedingt, aber dann in ihrer Stellungnahme vom 4. Oktober 2010 wiederum als behinderungsbedingt.
4.4.1 Der Beschwerdeführer bezieht eine volle IV-Rente und ist damit grundsätzlich zum Abzug behinderungsbedingter Kosten gemäss Art. 33 Abs. 1 hbis DBG berechtigt. Wie oben dargelegt, sind die Transportkosten zu einer wegen einer Behinderung ärztlich verordneten Therapie vollumfänglich abzugsfähig. Fraglich ist jedoch, ob es sich bei den vorliegend geltend gemachten Fahrten ans Meer um den Transport zu einer solchen therapeutischen Massnahme handelte.
4.4.2 Am 5. September 2000 hatte der behandelnde Arzt bescheinigt, dass der Beschwerdeführer an chronischem Asthma leide und dass während des Aufenthaltes am Meer weniger Beschwerden aufträten. Aus diesem Grund schrieb er den Beschwerdeführer damals für drei bis vier Monate zu 100 % arbeitsunfähig. Am 20. Mai 2008 wurde vom selben Arzt bestätigt, der Beschwerdeführer leide an chronischem Asthma und solle sich deswegen möglichst oft am Meer aufhalten. Gleichen Inhalts ist auch das Arztzeugnis eines weiteren Arztes vom 25. November 2009.
Zwar können Kuraufenthalte als Massnahme zur Wiederherstellung der körperlichen oder psychischen Gesundheit durchaus in Betracht kommen. Erforderlich ist jedoch, dass der Kuraufenthalt konkret ärztlich verordnet ist (vgl. 3.2.2 Kreisschreiben Nr. 11). Abgesehen davon, dass keine ärztliche Bescheinigung vorliegt, die sich ausdrücklich auf die fragliche Steuerperiode bezieht, kann eine allgemeine, zeitlich unbeschränkte Empfehlung, sich möglichst oft am Meer aufzuhalten, nicht als ärztliche Verordnung einer Heilmassnahme qualifiziert werden. Stellt der blosse Aufenthalt am Meer keine ärztlich verordnete Therapie im Zusammenhang mit der Behinderung dar, sind die Kosten für die Fahrten dorthin nicht behinderungsbedingte Kosten im Sinne von Art. 33 Abs. 1 lit. hbis DBG und folglich nicht abzugsfähig. Soweit die Beschwerdeführer geltend machen die Transportkosten seien als Krankheitskosten abzuziehen, verkennen sie, dass Transportkosten zu Therapien/Kuraufenthalten wegen Krankheit ohnehin nicht abzugsfähig sind (vgl. Kreisschreiben Nr. 11 Ziff. 3.1, 3.2.3 und 3.2.9; RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, 2. Aufl., Zürich 2009, N. 149 ff. zu Art. 33).
Die fraglichen Transportkosten wurden somit zu Recht nicht zum Abzug zugelassen.
5. Nach dem Ausgeführten ist das angefochtene Urteil betreffend die direkte Bundessteuer nicht zu beanstanden.
II. Kantonssteuer
6. Art. 22 Abs. 1 lit. b des Steuergesetzes für den Kanton Graubünden vom 8. Juni 1986 (StG/GR) kennt betreffend Erträge aus unbeweglichem Vermögen eine mit <ref-law> identische Regelung und bestimmt zudem ausdrücklich, dass der Mietwert gemäss Absatz 1 lit. b auch dann steuerbar ist, wenn das Grundstück zu einem erheblich vom Marktmietwert abweichenden Mietzins an eine nahestehende Person vermietet oder verpachtet wird (Art. 22 Abs. 3 StG/GR). Betreffend Abzug von krankheits- und behinderungsbedingten Kosten stimmt Art.36 lit. g und gbis StG/GR mit Art. 33 Abs. 1 lit. h und hbis DBG überein und entspricht zugleich den Vorgaben von Art. 9 Abs. 2 lit. h und hbis StHG. Daraus folgt, dass die zum DBG ergangene Rechtsprechung und Doktrin ebenfalls für die kantonalen Steuern massgebend sind (Urteil 2C_103/2009 vom 10. Juli 2009 E. 5, in: StR 64/2009 S. 906 sowie StE 2009 B 27.5 Nr. 15). Dies führt für die kantonale Steuer zum gleichen Ergebnis wie bei der direkten Bundessteuer.
III. Kosten und Entschädigung
7. Aufgrund des Gesagten erweist sich die Beschwerde sowohl betreffend die direkte Bundessteuer als auch betreffend die kantonale Steuer als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kostenpflichtig (Art. 65 und Art. 66 Abs. 5 BGG). Es ist keine Parteientschädigung geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer wird abgewiesen, soweit darauf einzutreten ist.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die kantonale Steuer wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
4. Dieses Urteil wird den Beschwerdeführern, der Kantonalen Steuerverwaltung Graubünden, dem Verwaltungsgericht des Kantons Graubünden, 4. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 23. Mai 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Zünd Dubs