Sachverhalt:
A.
Auf den Konten Nr. xxx bei der Raiffeisenbank Olten und Nr. xxx bei der Neuen Aargauer Bank, beide lautend auf "A.A._", fielen im Jahr 2012 verrechnungssteuerpflichtige Zinserträge von Fr. 325.25 bzw. Fr. 221.61 an.
A.A._ und B.A._ deklarierten in der Steuererklärung 2012 weder die Konten noch die verrechnungssteuerpflichtigen Zinsen.
B.
Am 31. März 2014 forderte das Steueramt U._ A.A._ und seine Ehefrau auf, die Zins- und Saldobescheinigungen per 31. Dezember 2012 der erwähnten Konten einzureichen. Dieser Aufforderung kamen die Steuerpflichtigen nach.
Mit Entscheid vom 18. Juni 2015 verweigerte das Kantonale Steueramt aufgrund der unterbliebenen Deklaration die Rückerstattung der auf den erwähnten Zinserträgen erhobenen Verrechnungssteuer. Die dagegen gerichtete Einsprache wies es am 4. August 2015 ab.
C.
Den Einspracheentscheid vom 4. August 2015 (Zustellung am 12. August 2015) zog A.A._ mit Beschwerde vom 14. September 2015 (Postaufgabe gleichentags) an das Spezialverwaltungsgericht, Abteilung Steuern, weiter.
Mit Urteil vom 28. Januar 2016 trat das Spezialverwaltungsgericht auf die Beschwerde von A.A._ nicht ein. Zur Begründung hielt es fest, dass das Rechtsmittel nicht innert der Frist von 30 Tagen gemäss Art. 54 Abs. 1 des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer (VStG; SR 642.21) erhoben worden sei; die Gerichtsferien (bzw. Friststillstandsregeln) des kantonalen Rechts und des Bundesgesetzes vom 20. Dezember 1968 über das Verwaltungsverfahren (VwVG; SR 172.021) würden hier nicht gelten; die Voraussetzungen für eine Fristwiederherstellung (Bestehen bzw. Geltendmachung von Hinderungsgründen) seien auch nicht gegeben.
D.
Mit Eingabe vom 11. März 2016 erhebt A.A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt (unter anderem) den Ausstand gewisser Mitglieder des Bundesgerichts, die Aufhebung des vorinstanzlichen Entscheids, die Gewährung der unentgeltlichen Rechtspflege sowie eine Parteientschädigung von mindestens Fr. 500.--.
Das Spezialverwaltungsgericht Steuern des Kantons Aargau verzichtet auf die Einreichung einer Vernehmlassung. Das Kantonale Steueramt und die Eidgenössische Steuerverwaltung beantragen die Abweisung der Beschwerde, soweit darauf eingetreten werden kann. Mit Replik vom 13. Mai 2016 hat der Beschwerdeführer an seinem Rechtsstandpunkt festgehalten.

Erwägungen:
1.
Eingangs beantragt der Beschwerdeführer den Ausstand gewisser Mitglieder des Bundesgerichts. Er begründet sein Begehren - soweit es überhaupt die am vorliegenden Urteil mitwirkenden Mitglieder der II. öffentlich-rechtlichen Abteilung betrifft - einmal mehr nur pauschal (Mitglieder einer bestimmten politischen Partei usw.); sein Antrag ist damit nicht hinreichend begründet und darauf ist nicht einzutreten (<ref-ruling> E. 1; <ref-ruling> E. 1c S. 304; s. auch das den Beschwerdeführer betreffende Urteil 2C_1118/2013 vom 6. Dezember 2013 E. 2.1).
2.
2.1. Die Eingabe richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten liegen vor (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 BGG i. V. m. <ref-law>).
Angefochten ist ein Nichteintretensentscheid. Die Beschwerdebegründung hat sich auf die vom Spezialverwaltungsgericht herangezogenen Nichteintretensgründe zu beziehen.
2.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten können Rechtsverletzungen nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es im Rahmen der allgemeinen Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht offensichtlich sind.
Die Verletzung von Grundrechten prüft das Bundesgericht in jedem Fall nur, falls eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (qualifizierte Rüge- und Begründungspflicht gemäss <ref-law>; <ref-ruling> E. 2.2 S. 60). Solche Rügen sind klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen. Auf bloss allgemein gehaltene, appellatorische Kritik am vorinstanzlichen Entscheid geht das Bundesgericht nicht ein (<ref-ruling> E. 5.4 S. 324; <ref-ruling> E. 6.3 S. 375).
2.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die tatsächlichen Feststellungen der Vorinstanz, wozu auch die Beweiswürdigung zählt (BGE <ref-ruling> E. 6.3 S. 375), nur berichtigen oder ergänzen, soweit sie offensichtlich unrichtig, das heisst willkürlich, sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>; <ref-ruling> E. 2.1 S. 659 f.).
Neue Tatsachen und Beweismittel dürfen nur so weit berücksichtigt werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). In der Beschwerde ist darzutun, inwiefern diese Voraussetzung erfüllt sein soll (<ref-ruling> E. 3 S. 395).
3.
3.1. Gemäss <ref-law> kann gegen den Einspracheentscheid des kantonalen Verrechnungssteueramtes innert 30 Tagen nach der Eröffnung bei der kantonalen Rekurskommission schriftlich Beschwerde erhoben werden; die Beschwerde hat einen bestimmten Antrag zu enthalten und die zu seiner Begründung dienenden Tatsachen anzugeben. Vorbehalten bleibt Artikel 55 (ergänzendes kantonales Recht). Gemäss <ref-law> kann der Kanton in seinen Vollzugsvorschriften bestimmen, dass sich das Einspracheverfahren und das Verfahren vor der kantonalen Rekurskommission nach den für die Anfechtung und Überprüfung der Steuerveranlagung massgebenden kantonalen Verfahrensvorschriften (einschliesslich der Fristen) richtet, wenn der Entscheid über den Rückerstattungsanspruch mit einer Veranlagungsverfügung verbunden worden ist.
Bei der Frist nach <ref-law> handelt es sich wie bei allen Rechtsmittelfristen um eine gesetzliche Frist, die als solche, vorbehältlich einer anderen gesetzlichen Regelung, nicht erstreckbar ist. Auf Beschwerden, welche nach Ablauf der Rechtsmittelfrist erhoben worden sind, darf die Rekurskommission nicht eintreten. Dabei hat die angegangene Instanz von Amtes wegen zu prüfen, ob die Beschwerde innert der gesetzlichen Frist eingereicht worden ist. Raum für die Berücksichtigung der kantonalen Gerichtsferien in einem grundsätzlich durch bundesrechtliche Regeln normierten Verfahren besteht nur dann, wenn der bundesgerichtliche Erlass hinsichtlich des Fristenlaufs keine abschliessende Regelung getroffen hat (Urteil A.363/1985, in ASA 56 E. 2a S. 645).
3.2. Die Vorinstanz hält in ihrem Urteil fest, kantonales Verfahrensrecht könne lediglich in jenen Fällen zur Anwendung kommen, wo der Entscheid über den Rückerstattungsanspruch mit einer Veranlagungsverfügung verbunden worden ist.
Da im Kanton Aargau der Entscheid über den Rückerstattungsanspruch nicht mit einer Veranlagungsverfügung verbunden wird, ist sie zum Schluss gekommen, für die Anwendung des kantonalen Steuerverfahrensrechts bzw. der kantonalen Gerichtsferien bestehe kein Raum.
3.3. Den Ausführungen des Spezialverwaltungsgerichts des Kantons Aargau ist beizupflichten.
Gemäss dem klaren Wortlaut von <ref-law>, von welchem bei der Gesetzesauslegung in erster Linie auszugehen ist (<ref-ruling> E. 5.1 S. 217, 135 V 153 E. 4.1 S. 157), ist die Anwendung kantonaler Verfahrensvorschriften nur möglich, wenn der Entscheid über den Rückerstattungsanspruch mit der Veranlagungsverfügung verbunden worden ist (Urteile 2C_704/2014 vom 10. Februar 2015, in StR 70/2015 E. 4.1 S. 541 und 2A.288/2003 vom 7. Mai 2004 E. 1.2; BRUNO KNÜSEL, in Zweifel/Beusch/Bauer-Balmelli [Hrsg.], Bundesgesetz über die Verrechnungssteuer, 2. Aufl. 2012, N. 1 zu <ref-law>; MARTIN ARNOLD/ALFRED MEIER/PETER SPINNLER, Steuerpflicht bei Auslandbezug, in ASA 70 S. 1 ff., 79-80). Ist dies - wie hier - nicht der Fall, kommt der in <ref-law> enthaltene Vorbehalt nicht in Betracht und ist nur die zuletzt erwähnte Bestimmung massgebend.
3.4. In diesem Zusammenhang und entgegen der Meinung des Beschwerdeführers muss gleichzeitig eine (analoge) Anwendung der im Bundesgesetz über das Verwaltungsverfahren und in der Zivilprozessordnung vom 19. Dezember 2008 (ZPO; SR 272) vorgesehenen Gerichtsferien ausgeschlossen werden.
<ref-law>, der eine Beschwerdefrist von 30 Tagen vorsieht, verweist weder auf das VwVG noch auf die ZPO, sondern nur (und zwar bedingt) auf das kantonale Recht. Die einzige Bestimmung, die einen solchen Verweis enthält, ist <ref-law>. Diese betrifft aber die Revision und die Erläuterung von Entscheiden der Eidgenössischen Steuerverwaltung bzw. der kantonalen Behörden und nicht die Regelung der Gerichtsferien. Eine (direkte) Anwendung von <ref-law> oder von <ref-law> scheidet hingegen bereits gemäss <ref-law> bzw. gemäss <ref-law> aus.
3.5. Nach dem vorinstanzlich festgestellten Sachverhalt (<ref-law>) wurde der Einspracheentscheid am 12. August 2015 zugestellt. Die in <ref-law> vorgesehene Beschwerdefrist von 30 Tagen ist am 11. September 2015 abgelaufen.
Die am 14. September 2015 der Schweizerischen Post übergebene Beschwerde war damit verspätet.
4.
Im angefochtenen Urteil wird schliesslich die Möglichkeit einer Fristwiederherstellung abgelehnt. Dies weil in der am 16. November 2015 eingereichten Replik keine Hinderungsgründe vorgebracht worden sind.
Auch in dieser Hinsicht ist der vorinstanzliche Entscheid nicht zu beanstanden. In der Vernehmlassung der Eidgenössischen Steuerverwaltung vom 26. Oktober 2015, die dem Beschwerdeführer zugestellt worden ist, wurde behauptet, dass die Beschwerde gegen den Einspracheentscheid nicht rechtzeitig eingereicht worden war. In der Replik hätte der Beschwerdeführer somit die Gelegenheit nutzen müssen, allfällige Hinderungsgründe vorzubringen, was er aber nicht tat. Nach dem vorinstanzlich festgestellten Sachverhalt (<ref-law>), enthält diese Rechtsschrift zwar den Hinweis auf eine Arbeitsüberlastung des Beschwerdeführers; was aber a priori kein entschuldbares Hindernis darstellen kann, zumal sie überhaupt nicht belegt ist (Urteil 2A.566/2002 vom 9. Januar 2003 E. 2).
5.
Soweit sie den gesetzlichen Begründungsanforderungen genügt und sich nicht einer Überprüfung entzieht (vgl. vorne E. 2), ist die Beschwerde abzuweisen. Es wird davon abgesehen, Gerichtskosten zu erheben (Art. 66 Abs. 1 zweiter Satz BGG), womit das Gesuch um unentgeltliche Rechtspflege gegenstandslos wird. Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf das Ausstandsgesuch wird nicht eingetreten.
2.
Die Beschwerde wird abgewiesen.
3.
Es werden keine Kosten erhoben.
4.
Das Gesuch um unentgeltliche Rechtspflege ist gegenstandslos.
5.
Dieses Urteil wird den Verfahrensbeteiligten, dem Spezialverwaltungsgericht des Kantons Aargau, Steuern, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 18. Juli 2016
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Savoldelli