Faits : A. A.a. Fondée en 2001, la Société C._ SA (ci-après: la Société), avec siège à D._ (VS), avait pour but social l'importation, l'exportation, l'achat, la vente de tout produit mobilier et immobilier ainsi que toutes activités convergentes. A.b. Par acte authentique du 6 janvier 2003, la Société a acquis la parcelle n° **** située sur la commune de E._ (VS) pour un montant de 115'950 fr. Le financement a été assuré par B.X._ au moyen d'un virement exécuté depuis son compte personnel auprès de la Banque F._ SA, selon son ordre du 29 janvier 2003. Sur ladite parcelle, la Société a fait construire une maison d'habitation. Selon le décompte final de construction daté du 13 janvier 2004, le coût de celle-ci s'élevait à 438'800 fr. Selon contrat des 30 décembre 2002 et 4 janvier 2003, les travaux ont été financés par un crédit de construction de 430'000 fr. souscrit par B.X._ auprès de la Banque F._ SA. Selon le bilan de la Société au 31 décembre 2003, cet actif immobilier a été comptabilisé à 487'347 fr. Le bilan faisait également état d'une dette de la Société envers les actionnaires de 582'762.10 fr. A.c. Selon inscription au registre du commerce du 9 février 2004, B.X._ et A.X._ sont devenus actionnaires et administrateurs de la Société, chacun avec signature individuelle. Le siège de la Société a par ailleurs été transféré à E._ (VS). Depuis 2004, la maison située sur la parcelle n° **** a été habitée par les époux X._ et leurs deux enfants. Les comptes de pertes et profits 2004 de la Société n'ont enregistré ni valeur locative, ni intérêts hypothécaires s'agissant de cet immeuble. Depuis 2003, les époux X._ n'ont fait valoir ni la dette hypothécaire de 430'000 fr. ni leur créance envers la Société dans leurs déclarations d'impôts. Selon le bilan de la Société au 31 décembre 2004, l'actif immobilier a été porté à 528'125 fr. Une dette envers les actionnaires de 582'762.10 fr. était inscrite au passif du bilan. A.d. Par acte de vente inscrit au registre foncier le 19 décembre 2007, B.X._ a acquis la parcelle n° **** pour un montant de 400'000 fr. B. Par procès-verbal de taxation du 1er avril 2009 concernant la période fiscale 2007, le Service cantonal des contributions du canton du Valais (ci-après: le Service cantonal), section des personnes physiques, a procédé à une reprise de 150'000 fr. sur les revenus des époux X._. Ce montant correspondait à la différence entre le prix d'acquisition du bien immobilier (400'000 fr.) et la valeur de marché de celui-ci (550'000 fr.). En avril 2009, le Service cantonal, section des personnes morales, a procédé à un contrôle des comptes de l'exercice 2007 de la Société. Le rapport du 14 mai 2009 établi à la suite de ce contrôle préconisait d'effectuer trois reprises pour un montant total de 293'000 fr. Le Service cantonal a d'abord confirmé la reprise d'un montant de 150'000 fr. sur la vente immobilière. Le Service cantonal a en outre considéré qu'un loyer de 18'000 fr., calculé "selon les conditions du marché immobilier local", devait être repris à titre de distribution dissimulée de bénéfice. Il a enfin retenu une reprise de 125'000 fr. au titre de prélèvements non justifiés par les époux X._ sur les comptes bancaires de la Société. Dans son procès-verbal de taxation du 27 novembre 2009, pour la période fiscale 2007, le Service cantonal, section des personnes physiques, a suivi les conclusions du rapport de contrôle. Il a confirmé la reprise du montant de 150'000 fr. pour la vente à un prix de faveur et a procédé à une reprise de 18'000 fr. au titre de loyer non perçu par la Société en 2007 et de 125'000 fr. pour des prélèvements non justifiés sur les comptes bancaires de la Société. La reprise totale effectuée par le Service cantonal s'élevait ainsi à un montant de 293'000 fr. Compte tenu des autres revenus et déductions, le revenu imposable des époux X._ pour l'année 2007 était ainsi arrêté à 291'796 fr. pour l'impôt fédéral direct et à 294'526 fr. pour les impôts cantonal et communal. Le 20 décembre 2012, les époux X._ ont élevé une réclamation contre ce prononcé, concluant à l'annulation de la reprise totale de 293'000 fr. Par décision sur réclamation du 4 juin 2013, le Service cantonal a confirmé la taxation. Les époux X._ ont recouru contre cette décision à la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours). Par décision du 19 février 2014, la Commission de recours a partiellement admis le recours, en ce sens qu'elle a réduit à 6'000 fr. la reprise au titre de valeur locative, pour tenir compte de la contre-prestation assumée par les époux X._. Le revenu net imposable pour l'année 2007 a été fixé, en conséquence, à 279'796 fr. pour l'impôt fédéral direct et à 282'526 fr. pour les impôts cantonal et communal. C. Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral d'annuler la décision du 19 février 2014 et de fixer le revenu net imposable pour l'année 2007 à 126'526 fr. pour ce qui concerne les impôts cantonal et communal et à 123'796 fr. pour ce qui concerne l'impôt fédéral direct. Subsidiairement, ils concluent au renvoi de l'affaire à l'autorité cantonale pour nouvelle décision dans le sens des considérants. L'Administration fédérale des contributions s'est ralliée au dispositif et aux considérants de la décision entreprise. Le Service cantonal s'est déterminé et a conclu au rejet du recours. La Commission de recours, sous la signature de son Secrétaire, a renoncé à déposer des observations sur le recours et également conclu à son rejet. Les époux X._ ont déclaré maintenir leurs conclusions, tant en ce qui concerne l'IFD que l'ICC.