Arbeitsvertrag; Lohnforderung, hat sich ergeben: A.- A._ (Kläger) war als Inhaber der Einzelfirma A._ Metallbau in finanzielle Schwierigkeiten geraten. Auf Anraten der zur Sanierung beigezogenen Beraterin, der Y._ AG bzw. deren Vertreters, C._, wurde eine neue Gesellschaft gegründet, die X._ AG (Beklagte). Diese hätte die noch vorhandenen Aktiven des Handwerksbetriebes übernehmen sowie den Kläger und seine Ehefrau, B._ (Klägerin), als Arbeitnehmer einstellen sollen. Für die Gründung der Aktiengesellschaft bezahlten die Kläger der Y._ AG Fr. 15'000.--. Da sie aber nicht über genügend Mittel für das notwendige Aktienkapital verfügten, suchte die Y._ AG einen externen Geldgeber, den sie in der Person von D._ auch fand. Die Beklagte wurde am 23. Juni 1997 ins Handelsregister eingetragen. D._ hatte das Gründungskapital bar einbezahlt, 98% der Aktien gehalten und sich als einzigen Verwaltungsrat im Handelsregister eintragen lassen. Nach der Gründung ist ihm das ganze Aktienkapital von Fr. 100'000.-- zurückvergütet worden. Die Kläger erhielten keine Beteiligung an den Aktien; die geplante Sacheinlage der Aktiven der Einzelfirma im Gegenzug zur Übergabe der Aktien an die Kläger kam nicht zustande. D._ hat schliesslich mit Schreiben vom 13. Oktober 1997 als Verwaltungsrat demissioniert und ist am 14. November 1997 im Handelsregister gelöscht worden. Bereits ab Juni 1997, d.h. unmittelbar nach der Gründung der Beklagten aber noch vor der geplanten Übernahme der Aktiven, begannen die Kläger für die Beklagte wie bisher für die konkursite Einzelfirma zu arbeiten und fakturierten ihre Leistungen den Kunden im Namen der Beklagten. B.- Nachdem die Kläger von der Beklagten keinen Lohn erhalten hatten, betrieben sie diese und belangten sie am 9. Februar 1999 beim Arbeitsgericht Baden auf Bezahlung von Fr. 17'892. 25 an A._ und Fr. 15'423.-- an B._. Das Arbeitsgericht Baden vereinigte die Verfahren und hiess beide Klagen mit Urteil vom 31. März 2000 im Wesentlichen gut. Auf Appellation der Beklagten hin, wies das Obergericht des Kantons Aargau am 31. August 2001 beide Klagen ab. C.- Die Kläger beantragen mit Berufung, das obergerichtliche Urteil aufzuheben und ihre Klage im Umfang wie die erste Instanz gutzuheissen. Die Beklagte schliesst auf Abweisung des Rechtsmittels.