Sachverhalt:
A. A.a Über die am 14. November 1909 geborene Y._ wurde mit Beschluss der Erwachsenen- und Kindesschutzkommission der Stadt Bern (EKSK) vom 3. Februar 2004 eine Beistandschaft auf eigenes Begehren gemäss Art. 394 ZGB errichtet. Am 22. September 2005 verstarb Y._. Als Willensvollstrecker hatte sie X._ bestimmt.
Mit Beschluss vom 2. Mai 2006 genehmigte die EKSK den Schlussbericht und die Schlussrechnung der Beiständin von Y._, Z._.
A.b Die Passation des Schlussberichts und der Schlussrechnung erfolgte am 18. Juli 2006 durch das Regierungsstatthalteramt. Die vom Willensvollstrecker X._ (nachfolgend: Beschwerdeführer) dagegen am 16. September 2006 eingereichte Beschwerde wurde an die zuständige Justiz-, Gemeinde- und Kirchendirektion (JGK) des Kantons Bern weitergeleitet.
Mit Entscheid vom 3. Dezember 2007 wies die JGK die Beschwerde ab, soweit darauf einzutreten war.
B. Der Beschwerdeführer hat mit Eingabe vom 9. Januar 2008 die Sache an das Bundesgericht weitergezogen. Er beantragt in der Hauptsache, der Entscheid der JGK vom 3. Dezember 2007 sei aufzuheben.
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Gemäss Art. 72 Abs. 2 lit. b Ziff. 5 BGG unterliegen der Beschwerde in Zivilsachen auch Entscheide auf dem Gebiet der Aufsicht über die Vormundschaftsbehörden. Die Prüfung des Schlussberichtes und der Schlussrechnung durch das Regierungsstatthalteramt II von Bern nach Art. 423 ZGB stellt einen anfechtbaren Entscheid im Sinne von Art. 72 Abs. 2 lit. b Ziff. 5 BGG dar. Strittig ist vorliegend, ob das Vermögen von Y._ sel. sich durch die Verwaltung der Beiständin verringert hat. Es liegt somit eine vermögensrechtliche Angelegenheit vor, deren Streitwert von mindestens Fr. 30'000.-- gegeben sein muss (Art. 74 Abs. 1 lit. b i.V.m. Art. 51 Abs. 1 und 4 BGG). Entgegen der Vorschrift des Art. 112 Abs. 1 lit. d BGG wird der Streitwert im angefochtenen Entscheid nicht angegeben. Der Beschwerdeführer äussert sich dazu ebenfalls nicht. Die Frage kann dahingestellt bleiben, weil auf die Beschwerde nicht eingetreten werden kann.
1.2 In der Regel wird das Verfahren in der Sprache des angefochtenen Entscheids geführt (Art. 54 Abs. 1 BGG). Vorliegend besteht kein Anlass, davon eine Ausnahme zu machen, zumal der Beschwerdeführer seine Eingabe im kantonalen Verfahren noch auf Deutsch eingereicht hat (Antrag Ziff. 5).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgelegt hat (Art. 105 Abs. 1, Art. 118 Abs. 1 BGG). Soweit der Beschwerdeführer im bundesgerichtlichen Verfahren neue Sachverhaltselemente einführt, ohne darzulegen, dass und inwiefern die Voraussetzungen nach Art. 105 Abs. 2 bzw. Art. 118 Abs. 2 BGG erfüllt sind, kann darauf von vornherein nicht eingetreten werden (<ref-ruling> E. 2.3).
1.4 Der Beschwerdeführer legt dem Bundesgericht zahlreiche neue Dokumente vor. Gemäss Art. 99 Abs. 1 BGG dürfen neue Beweismittel nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt. In der Beschwerde ist darzutun, inwiefern die erwähnte Voraussetzung für eine nachträgliche Einreichung von Beweismitteln erfüllt sein soll (<ref-ruling> E. 3 S. 395). Der Beschwerdeführer legt insbesondere nicht dar, weshalb das Schreiben der EKSK vom 10. August 2006 (Beilage 15), welches zur Begründung der Verweigerung des rechtlichen Gehörs angeführt wird, nicht schon der JGK vorgelegt werden konnte. Das neu ins Recht gelegte Schriftstück ist daher unbeachtlich.
2. 2.1 Die Vorinstanz führt aus, bei Übernahme der Beistandschaft sei über das zu verwaltende Vermögen durch den Beistand und einen Vertreter der Vormundschaftsbehörde ein Inventar aufzunehmen (Art. 398 Abs. 1 ZGB). Die Inventaraufnahme erfolge nach den Vorschriften über das öffentliche Inventar des Erbrechts (Art. 43 EG ZGB/BE). Nachdem im Februar 2004 die Beistandschaft über Y._ sel. errichtet worden sei, habe die Beiständin zusammen mit dem Inventarbeauftragten der EKSK am 24. März 2004 ein Inventar erstellt, welches die EKSK an der Sitzung vom 24. April 2004 genehmigt habe. Der Beschwerdeführer mache geltend, die Inventaraufnahme sei unsorgfältig erfolgt. Er vermisse verschiedene Wertgegenstände seiner verstorbenen Tante und werfe der Vormundschaftsbehörde und der Beiständin sinngemäss vor, sie hätten diese Gegenstände bei der Inventarisierung unterschlagen.
Die Vorinstanz fährt fort, eine Durchsicht des vormundschaftlichen Inventars über das Vermögen von Y._ sel. mache deutlich, dass verschiedene Vermögensbestandteile der Verbeiständeten ordnungsgemäss aufgeführt worden seien, darunter u.a. im Pflegeheim befindlicher Schmuck. Es habe kein Anlass bestanden, zusätzlich die Gegenstände des täglichen Gebrauchs (wie die vom Beschwerdeführer erwähnten Handtaschen, das Portemonnaie sowie ein Adressbuch) oder Ausweise und Papiere (Pass, Heimatschein, AHV-Ausweis) gesondert zu benennen, da sie nicht von besonderem Wert seien (vgl. dazu Albert Guler, Basler Kommentar, ZGB I, 3. Aufl, N. 7 zu Art. 398 ZGB, S. 1983). Gleiches gelte für die vom Beschwerdeführer erwähnten Pelzmäntel. Ob solche Mäntel im Zeitpunkt der Inventaraufnahme vorhanden gewesen seien, lasse sich heute nicht mehr feststellen. Selbst wenn dies der Fall gewesen wäre, könnte der Beschwerdeführer aus ihrer fehlenden Erwähnung im Inventar nichts zu seinen Gunsten ableiten. Als Kleidungsstücke gehörten die Mäntel zu den allgemeinen Gebrauchsgegenständen, die im Inventar nicht hätten gesondert aufgeführt werden müssen. Soweit der Beschwerdeführer noch weitere Gegenstände der Verstorbenen vermisse, sei er auf die Bemerkung im Formular "Prüfung Bericht und Rechnung" der EKSK vom 12./27. April 2006 hinzuweisen, wonach die Vermögenswerte durch den Inventarnotar M._ behändigt worden seien. Was schliesslich die beiden Schlüssel zum Tresorfach Nr. xxx der Bank S._ betreffe, so gehe aus dem Schlussbericht hervor, dass im Zeitpunkt der Inventaraufnahme ein Schlüssel im Besitz von T._ gewesen sei und der zweite Schlüssel später durch die Beiständin an sie übergeben worden sei. Es bestünden keine Anhaltspunkte, an diesen Angaben der Beiständin zu zweifeln.
Die Vorinstanz fährt fort, eine Durchsicht des vormundschaftlichen Inventars über das Vermögen von Y._ sel. mache deutlich, dass verschiedene Vermögensbestandteile der Verbeiständeten ordnungsgemäss aufgeführt worden seien, darunter u.a. im Pflegeheim befindlicher Schmuck. Es habe kein Anlass bestanden, zusätzlich die Gegenstände des täglichen Gebrauchs (wie die vom Beschwerdeführer erwähnten Handtaschen, das Portemonnaie sowie ein Adressbuch) oder Ausweise und Papiere (Pass, Heimatschein, AHV-Ausweis) gesondert zu benennen, da sie nicht von besonderem Wert seien (vgl. dazu Albert Guler, Basler Kommentar, ZGB I, 3. Aufl, N. 7 zu Art. 398 ZGB, S. 1983). Gleiches gelte für die vom Beschwerdeführer erwähnten Pelzmäntel. Ob solche Mäntel im Zeitpunkt der Inventaraufnahme vorhanden gewesen seien, lasse sich heute nicht mehr feststellen. Selbst wenn dies der Fall gewesen wäre, könnte der Beschwerdeführer aus ihrer fehlenden Erwähnung im Inventar nichts zu seinen Gunsten ableiten. Als Kleidungsstücke gehörten die Mäntel zu den allgemeinen Gebrauchsgegenständen, die im Inventar nicht hätten gesondert aufgeführt werden müssen. Soweit der Beschwerdeführer noch weitere Gegenstände der Verstorbenen vermisse, sei er auf die Bemerkung im Formular "Prüfung Bericht und Rechnung" der EKSK vom 12./27. April 2006 hinzuweisen, wonach die Vermögenswerte durch den Inventarnotar M._ behändigt worden seien. Was schliesslich die beiden Schlüssel zum Tresorfach Nr. xxx der Bank S._ betreffe, so gehe aus dem Schlussbericht hervor, dass im Zeitpunkt der Inventaraufnahme ein Schlüssel im Besitz von T._ gewesen sei und der zweite Schlüssel später durch die Beiständin an sie übergeben worden sei. Es bestünden keine Anhaltspunkte, an diesen Angaben der Beiständin zu zweifeln.
2.2 2.2.1 Der Beschwerdeführer rügt vorab eine Verletzung des rechtlichen Gehörs. Er macht geltend, er habe vor erster Instanz selber ein Inventar erstellen und als Beweismittel einreichen wollen. Es sei ihm am 10. August 2006 von der EKSK zunächst eine Unterredung in Aussicht gestellt worden, um die Angelegenheit zu besprechen. In der Folge habe er dann aber von der Behörde nichts mehr gehört. Angefochten ist indessen der Entscheid der JGK vom 3. Dezember 2007. Dass er vor dieser Instanz einen Beweisantrag gestellt hätte, oder dass er die nun vor Bundesgericht erhobene Rüge der Verletzung des rechtlichen Gehörs bereits vor der JGK gültig vorgebracht hätte, macht er nicht geltend. Bei dieser Sachlage ist nicht ersichtlich, inwiefern ihm die JGK das rechtliche Gehör verweigert haben könnte. Soweit er geltend macht, das Übernahmeinventar gemäss Art. 398 ZGB vom 31. März/4. April 2004, welchem am 20. April 2004 von der Erwachsenen- und Kindesschutzkommission der Stadt Bern zugestimmt worden sei, sei unvollständig, hat diese Beanstandung mit dem Anspruch auf rechtliches Gehör nichts zu tun. Weiter ist fraglich, ob er dieses im Jahre 2004 genehmigte Inventar im Jahre 2007 noch hat beanstanden können, weil die damalige Genehmigungsverfügung rechtskräftig geworden ist. Es kommt schliesslich hinzu, dass die Vorinstanz - wie in E 2.1 hiervor ausgeführt - zu seinen Beanstandungen Stellung genommen hat. Der Beschwerdeführer legt in seiner Beschwerdeschrift nicht dar, inwiefern der angefochtene Entscheid in diesem Punkt Bundesrecht bzw. seine verfassungsmässigen Rechte verletzen könnte (Art. 95 lit. a, Art. 116 BGG; zu den Begründungsanforderungen: <ref-ruling> E. 1.4; <ref-ruling> E. 6 S. 397), sondern er beschränkt sich auf die schlichte Behauptung, einige Gegenstände fehlten im genannten Inventar. Darauf ist nicht einzutreten.
2.2.2 Soweit der Beschwerdeführer verlangt, dass rechtskräftig veranlagte Steuern bzw. Verzugszinsen für das Jahr 2003 aufzuheben seien oder festzustellen sei, dass diese nicht geschuldet seien (Antrag Ziff. 3), kann auf seine Beschwerde nicht eingetreten werden, weil Steuerverfügungen ausschliesslich mit den Rechtsmitteln des Steuerrechts, nicht aber im Zusammenhang mit der Genehmigung der Beistandsrechnung geändert werden können. Wenn der Beschwerdeführer den Vormundschaftsbehörden oder der Beiständin in diesem Zusammenhang unsorgfältige Verwaltung vorwirft, steht es ihm frei, Verantwortlichkeitsklage einzureichen (Art. 426 ZGB), sofern die weiteren Voraussetzungen erfüllt sind. Darauf hat ihn bereits die Vorinstanz hingewiesen. Die Anfechtung der Schlussrechnung ist dazu untauglich.
2.2.3 Der Beschwerdeführer macht schliesslich geltend, es sei willkürlich, dass der Beiständin für ihre Bemühungen Fr. 2'050.-- zugesprochen worden seien. Diese Rüge und der Antrag Ziff. 4 sind neu und daher unzulässig (E. 1.4 hiervor).
3. Nach dem Ausgeführten kann auf die Beschwerde insgesamt nicht eingetreten werden, und der Beschwerdeführer wird damit kostenpflichtig (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und der Justiz-, Gemeinde- und Kirchendirektion des Kantons Bern, schriftlich mitgeteilt.
Lausanne, 25. März 2008
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Raselli Schett