Faits: A. A.A._ exerce à plein temps une activité salariée de machiniste auprès d'une entreprise sise à L._. Parallèlement, il a également exercé, pendant la période courant de 1997 à 2008, une activité indépendante accessoire dans le domaine du nettoyage de villas. Il s'y consacrait certains jours de la semaine, en soirée, et les fins de semaine. Le 27 novembre 2008, des décisions de rappel d'impôt ont été notifiées aux époux A._ pour non-déclaration de rentes d'orphelin versées à A.A._ en faveur de son fils C.A._, pour les années 2003 à 2006, par le Fonds de prévoyance du personnel de X._ SA, à Fribourg. Le 12 février 2009, pour la période fiscale 2007, A.A._ s'est vu infliger des amendes fédérale et cantonale pour tentative de soustraction d'impôt. Le 1 er décembre 2009, une procédure de soustraction a été ouverte à l'encontre des époux A._. Elle a principalement porté sur les revenus réalisés par A.A._ dans le cadre de son activité indépendante et sur la non-imposition des rentes AVS versées par la Caisse de compensation Y._, de 2003 à 2006, en faveur du fils de A.A._. B. Par décisions du 24 septembre 2010, le Service cantonal des contributions du canton de Fribourg (ci-après : le Service cantonal des contributions) a procédé au rappel de l'impôt fédéral direct et des impôts cantonal et communal pour les périodes fiscales 1999/2000 à 2008. Il a également prononcé, à l'encontre de A.A._, seul, des amendes pour soustraction fiscale. Les impôts fédéraux soustraits dus par les époux A._ ont été fixés à 22'361 fr. 25 (+ intérêts moratoires de 5'215 fr. 20) pour 1999 à 2008 et les impôts cantonaux à 50'814 fr. 20 (+ intérêts moratoires de 8'004 fr. 70) pour 2001 à 2008. Les amendes prononcées à l'encontre de A.A._ ont été fixées à 50 % des impôts soustraits, soit 11'100 fr. et 25'400 fr. Suite à la réclamation élevée le 21 octobre 2010 contre les décisions précitées du 24 septembre 2010, le Service cantonal des contributions a ramené le montant des soustractions d'impôt à 18'585 fr. 55 (+ intérêts moratoires de 4'055 fr. 95) et à 42'834 fr. 85 (+ intérêts moratoires de 4'856 fr. 85), respectivement pour les impôts fédéraux et cantonaux. Il a, de ce fait, ramené la quotité des amendes frappant A.A._ à 9'000 fr. et à 20'000 fr. L'admission partielle de la réclamation résultait d'un réexamen des différents postes des dépenses professionnelles invoquées par les contribuables pour déterminer le revenu net de l'activité indépendante de A.A._. Saisi d'un recours dirigé contre la décision du Service cantonal des contributions du 30 novembre 2011, le Tribunal cantonal du canton de Fribourg, Cour fiscale (ci-après : le Tribunal cantonal) l'a rejeté, par arrêt du 21 décembre 2012. Il a considéré que les éléments constitutifs de la soustraction d'impôt étaient réunis, qu'en l'absence de pièces justificatives, les montants retenus par le Service cantonal des contributions au titre des dépenses déductibles du revenu brut de l'activité indépendante de A.A._ étaient justifiés et que la quotité des amendes fiscales notifiées à celui-ci était proportionnée aux circonstances. C. A l'encontre de l'arrêt du Tribunal cantonal du 21 décembre 2012, A.A._ et B.A._ forment auprès du Tribunal fédéral deux recours en matière de droit public, l'un en matière d'impôts cantonal et communal et l'autre en matière d'impôt fédéral direct. Ils concluent à l'irrecevabilité de l'arrêt du Tribunal cantonal du 21 décembre 2012, de la décision sur réclamation du Service cantonal des contributions du 30 novembre 2011, ainsi que des décisions en matière de rappel d'impôt et de soustraction du 24 septembre 2010. Ils soutiennent que B.A._ ne s'est pas rendue coupable de soustraction d'impôt et ne peut pas être punie d'une amende et que les rappels d'impôt liés à la procédure fiscale 1999/2000 sont injustifiés pour cause de péremption. En outre, ils contestent la quotité de certaines dépenses professionnelles retenues par les autorités fiscales cantonales pour déterminer le revenu imposable d'indépendant de A.A._ et font valoir que l'amende infligée à celui-ci est disproportionnée. Le Tribunal cantonal, le Service cantonal des contributions et l'Administration fédérale des contributions concluent au rejet des recours. Dans leurs observations sur les déterminations des autres participants à la procédure, A.A._ et B.A._ ont maintenu leurs conclusions.