Erwägungen:
1. X._ ist selbständig erwerbstätig und deklarierte in der Steuererklärung der Periode 2004 ordentliche Pensionskassenbeiträge in Höhe von Fr. 28'162.--, wovon die Hälfte (ausmachend Fr. 14'081.--) der Erfolgsrechnung belastet worden seien. Der Steuererklärung legte X._ eine Bescheinigung der Pensionskasse A._ bei, aus welcher hervorgeht, dass er im Jahr 2004 einen Einkauf in die Pensionskasse in Höhe von Fr. 30'148.-- getätigt habe. Tatsächlich hat der Steuerpflichtige jedoch keine solche Einkaufssumme geleistet: Die Bestätigung wurde von der A._ in dem Sinne fehlerhaft erstellt, dass die von X._ geleisteten ordentlichen Beiträge nicht in der dafür vorgesehenen Spalte sondern irrtümlicherweise unter der Rubrik "Einkauf von Beitragsjahren" aufgeführt wurden.
Gestützt auf die Angaben von X._ und die von ihm eingereichten Belege brachte die Steuerverwaltung des Kantons Bern bei der Veranlagung für das Steuerjahr 2004 sowohl die von X._ geleisteten ordentlichen Pensionskassenbeiträge in Höhe von Fr. 14'081.-- als auch einen Einkauf in die 2. Säule von Fr. 30'148.-- zum Abzug. Die entsprechenden Veranlagungsverfügungen sind in Rechtskraft erwachsen.
Nach Entdeckung des Umstands, dass X._ im Jahr 2004 entgegen der Bescheinigung der Vorsorgeeinrichtung keinen ausserordentlichen Pensionskasseneinkauf in Höhe von Fr. 30'148.-- getätigt hatte, eröffnete die Steuerverwaltung des Kantons Bern ein Nachsteuerverfahren. Mit Verfügungen vom 5. September 2008 wurden X._ und seine Ehefrau verpflichtet, für das Jahr 2004 Nachsteuern in Höhe von Fr. 7'799.35 (Kantons- und Gemeindesteuern) bzw. Fr. 3'913.-- (direkte Bundessteuer) zu bezahlen. Betreffend X._ ging die Steuerverwaltung zudem von einer vollendeten, fahrlässig begangenen Steuerhinterziehung aus, weswegen sie ihm ausserdem Bussen in der Höhe der Hälfte der Nachsteuern, d.h. von Fr. 3'899.70 für die Kantons- und Gemeindesteuern sowie von Fr. 1'956.50 für die direkte Bundessteuer auferlegte.
Ein Sprungrekurs gegen diese Verfügungen wurde von der Steuerrekurskommission des Kantons Bern mit Entscheid vom 15. Juni 2010 abgewiesen, soweit es die ausgesprochenen Bussen betraf; die Verfahren betreffend Nachsteuern wurden bereits am 13. Oktober 2008 sistiert, bis die Verfahren betreffend Steuerwiderhandlungen abgeschlossen sind. Eine gegen den Entscheid der Steuerrekurskommission eingereichte Beschwerde von X._ beim Verwaltungsgericht des Kantons Bern wurde von diesem mit Urteil vom 16. Mai 2011 vollumfänglich abgewiesen.
Mit Eingabe vom 18. Juni 2011 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht, mit welcher er die Aufhebung der gegen ihn ausgesprochenen Bussen verlangt.
2. Nach Eingang der Beschwerde wurden vom Bundesgericht die Dossiers 2C_514/2011 (betreffend Kantons- und Gemeindesteuern) sowie 2C_515/2011 (betreffend direkte Bundessteuer) eröffnet. Da der Beschwerdeführer jedoch seine Ausführungen bezüglich beide Bussen in der selben Rechtsschrift vorträgt, die Vorinstanz ebenfalls beide Themenbereiche im gleichen Urteil behandelt hat und die sich stellenden Rechtsfragen in beiden Fällen übereinstimmen, rechtfertigt es sich, die Verfahren 2C_514/2011 und 2C_515/2011 zu vereinigen (vgl. <ref-law> in Verbindung mit <ref-law> [SR 273]; <ref-ruling> E. 1 S. 60).
I. Direkte Bundessteuer
3. <ref-law> sieht vor, dass mit Busse bestraft wird, wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt, dass eine Veranlagung zu Unrecht unterbleibt oder dass eine rechtskräftige Veranlagung unvollständig ist. Gemäss <ref-law> beträgt die Busse in der Regel das Einfache der hinterzogenen Steuer. Sie kann bei leichtem Verschulden bis auf einen Drittel ermässigt, bei schwerem Verschulden bis auf das Dreifache erhöht werden.
Im vorliegenden Fall ist erstellt, dass das Verhalten des Beschwerdeführers - die Deklaration von ordentlichen Beiträgen sowie die Beilage einer Bestätigung für einen ausserordentlichen Einkauf von Beitragsjahren - eine zu tiefe bzw. unvollständige Veranlagung zur Folge hatte. Streitig ist einzig, ob dem Beschwerdeführer diesbezüglich Fahrlässigkeit vorzuwerfen ist (vgl. hierzu <ref-ruling> E. 4.3 S. 91), d.h. ob er hätte erkennen müssen, dass seine Vorgehensweise dazu führen kann, dass die Steuerverwaltung sowohl die deklarierten ordentlichen Pensionskassenbeiträge als auch den von der Bescheinigung der A._ ausgewiesenen Einkauf zum Abzug bringt.
Der Beschwerdeführer bestreitet ein fahrlässiges Verhalten vorab mit dem Argument, dass die Ausgestaltung der Bescheinigung der A._ entgegen der Darstellung der Vorinstanz nicht als klar und unmissverständlich bezeichnet werden könne, zumal der in den drei Amtssprachen klein gedruckte Obertitel "Einkauf von Beitragsjahren" leicht übersehen werden könne, wenn sich der Leser - was völlig normal sei - auf die Prüfung der eingesetzten Beträge konzentriere. Der Einwand geht jedoch ins Leere, zumal die Beträge auf der Bescheinigung der A._, wie hiervor aufgezeigt, gerade nicht mit den Deklarationen des Beschwerdeführers in der Steuererklärung übereinstimmten. Aus diesem Grund wäre vom Steuerpflichtigen zu erwarten gewesen, dass er die Bescheinigung der A._, die in seinen Augen die Zahlung der ordentlichen Beiträge belegen sollte, nicht nur oberflächlich sondern eingehend prüft, wobei ihm auch die falsche Zuordnung der bestätigten Beiträge hätte auffallen sollen. Jedenfalls durfte er in dieser Situation nicht davon ausgehen, dass die Steuerverwaltung ohne Weiteres erkennen werde, dass sich die Bestätigung der A._ statt auf einen Einkauf in Wirklichkeit auf die ordentlichen Beiträge bezieht; vielmehr musste er damit rechnen, dass die Steuerverwaltung irrtümlicherweise von zwei verschiedenen Zahlungen ausgehen wird.
Daran vermag auch nichts zu ändern, dass bereits die Bescheinigungen der A._ für die Jahre 2002 und 2003 in der gleichen Weise fehlerhaft gewesen, von der Steuerverwaltung jedoch zutreffend verstanden worden sind: Einerseits durfte der Steuerpflichtige ohnehin nicht darauf vertrauen, dass die Steuerverwaltung eine fehlerhafte Bescheinigung in jedem Steuerjahr als solche erkennt, da insbesondere auch nicht gewährleistet ist, dass die Steuererklärungen in jeder Periode stets vom gleichen Sachbearbeiter behandelt werden. Andererseits lag betreffend die Steuerjahre 2002 und 2003 auch keine Situation vor, die mit der hier streitigen Periode 2004 direkt vergleichbar wäre: Im Jahr 2002 hat nebst der Entrichtung von ordentlichen Vorsorgebeiträgen tatsächlich auch ein Einkauf in die 2. Säule stattgefunden, was von der A._ auf der gleichen Bescheinigung ausdrücklich vermerkt und klar auseinandergehalten wurde. Da der Beschwerdeführer nebst der Beilage dieser Bescheinigung in der Steuererklärung selbst keine weiteren (insb. keine abweichenden) Angaben zu seinen Beitragszahlungen gemacht hat, bestand diesbezüglich keine Gefahr einer Fehlinterpretation. Gleiches gilt im Wesentlichen für das Jahr 2003, zumal der Beschwerdeführer auch dort lediglich die Bescheinigung der A._ beigelegt hat, ohne aber auf dem entsprechenden Formular der Steuererklärung eine Beitragszahlung zu deklarieren. Weder in der Steuerperiode 2002 noch in jener von 2003 lag somit die im Jahr 2004 gegebene Situation vor, dass der Beschwerdeführer zwei betragsmässig divergierende Deklarationen betreffend der geleisteten Vorsorgebeiträge abgegeben hat. Entgegen der Auffassung des Beschwerdeführers kann der Steuerverwaltung bei dieser Sachlage auch nicht vorgehalten werden, dass sie den Steuerpflichtigen im Zuge der Veranlagungen 2002 und 2003 ausdrücklich auf die Mangelhaftigkeit der Bescheinigungen der A._ hätte hinweisen müssen; sie konnte nicht antizipieren, dass sich der Beschwerdeführer bei der Erstellung der Steuererklärung 2004 in der aufgezeigten Weise missverständlich verhalten wird.
II. Kantons- und Gemeindesteuern
4. Die Regelung von Art. 217 Abs. 1 lit. a StG/BE (in Verbindung mit Art. 56 Abs. 1 al. 1 StHG) stimmt mit derjenigen des DBG überein. Dasselbe gilt für die Bemessung der Busse (Art. 217 Abs. 2 StG/BE in Verbindung mit Art. 56 Abs. 1 al. 4 StHG). Damit ergibt sich für die Kantons- und Gemeindesteuern kein Resultat, dass von demjenigen der direkten Bundessteuer abweicht.
III. Kosten
5. Nach dem Ausgeführten ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten sowohl betreffend die direkte Bundessteuer als auch betreffend die Kantons- und Gemeindesteuern abzuweisen. Entsprechend diesem Verfahrensausgang hat der Beschwerdeführer die bundesgerichtlichen Kosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_514/2011 und 2C_515/2011 werden vereinigt.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer 2004 wird abgewiesen.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Kantons- und Gemeindesteuern 2004 wird abgewiesen.
4. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
5. Dieses Urteil wird dem Beschwerdeführer, der Steuerverwaltung des Kantons Bern und dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 1. Februar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Zähndler