Sachverhalt:
Sachverhalt:
A. X._ schloss am 12. Juni 1995 einen Vermögensverwaltungsvertrag mit der Einzelfirma "Y._ Management" . Diese bestätigte ihm per Ende 1995 ein Guthaben von Fr. 100'776.30 (bei Einzahlungen von Fr. 85'000.--) und per Ende 1996 ein solches von Fr. 192'305.20 (bei zusätzlichen Einzahlungen von Fr. 30'000.--). In den Wertschriften- und Guthabenverzeichnissen zu den Steuererklärungen 1996 und 1997 deklarierte X._ diese Guthaben, wobei er für den Vermögensertrag die entsprechende Formularspalte mit einem Schrägstrich versah.
Im Veranlagungsverfahren für die direkte Bundessteuer 1997/98 erfasste der Steuerkommissär die Differenz zwischen Einzahlungen und bestätigten Guthaben (1995: Fr. 15'776.--, 1996: Fr. 61'528.--) als Vermögensertrag und rechnete diesen zusammen mit einem nicht deklarierten Nebenerwerbseinkommen von Fr. 720.-- pro 1995 beim steuerbaren Einkommen auf. Eine Einsprache gegen diese Veranlagung wies das Kantonale Steueramt Zürich ab. Die dagegen gerichtete Beschwerde hiess die Bundessteuer-Rekurskommission des Kantons Zürich am 31. Oktober 2003 in Bezug auf das Nebenerwerbseinkommen gut und wies sie im Übrigen ab.
Im Veranlagungsverfahren für die direkte Bundessteuer 1997/98 erfasste der Steuerkommissär die Differenz zwischen Einzahlungen und bestätigten Guthaben (1995: Fr. 15'776.--, 1996: Fr. 61'528.--) als Vermögensertrag und rechnete diesen zusammen mit einem nicht deklarierten Nebenerwerbseinkommen von Fr. 720.-- pro 1995 beim steuerbaren Einkommen auf. Eine Einsprache gegen diese Veranlagung wies das Kantonale Steueramt Zürich ab. Die dagegen gerichtete Beschwerde hiess die Bundessteuer-Rekurskommission des Kantons Zürich am 31. Oktober 2003 in Bezug auf das Nebenerwerbseinkommen gut und wies sie im Übrigen ab.
B. Mit Verwaltungsgerichtsbeschwerde vom 10. Dezember 2003 beantragt X._ dem Bundesgericht sinngemäss, den Entscheid der Bundessteuer-Rekurskommission sowie den Einspracheentscheid des Kantonalen Steueramtes aufzuheben.
Das Kantonale Steueramt Zürich, die Bundessteuer-Rekurskommission des Kantons Zürich und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde. Im Übrigen verweisen die kantonalen Behörden auf die Erwägungen des angefochtenen Entscheids.
Unaufgefordert und nach Abschluss des ordentlichen Schriftenwechsels hat X._ mit Eingabe vom 16. März 2004 auf die Vernehmlassung der Eidgenössischen Steuerverwaltung repliziert.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Die Verwaltungsgerichtsbeschwerde ist zulässig gegen letztinstanzliche kantonale Entscheide betreffend die direkte Bundessteuer (Art. 97 Abs. 1 OG in Verbindung mit <ref-law> und Art. 98 lit. g OG sowie Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11]).
1.1.1 Trotz der von der Eidgenössischen Steuerverwaltung in ihrer Vernehmlassung geäusserten Zweifel ist der hier angefochtene Entscheid der Bundessteuer-Rekurskommission kantonal letztinstanzlich.
Zwar hat das Bundesgericht kürzlich auf das Gebot der vertikalen Steuerharmonisierung und das sich daraus ergebende Erfordernis der Parallelität des Verfahrens bei kantonalen und Bundessteuern hingewiesen (<ref-ruling> E. 6 S. 75 ff.; vgl. zudem <ref-ruling> E. 6.4 S. 323 f.). Das betrifft indes nicht die hier interessierenden Steuerperioden, da sie in den Zeitraum vor Ablauf der Anpassungsfrist von Art. 72 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz; StHG; SR 642.14) am 1. Januar 2001 fallen. Auf die Beschwerde ist somit grundsätzlich einzutreten.
1.1.2 Der Beschwerdeführer wendet sich nicht nur gegen den Entscheid der Bundessteuer-Rekurskommission, sondern auch gegen den Einspracheentscheid des Kantonalen Steueramtes.
Anfechtungsobjekt kann aber nur der vorinstanzliche Entscheid sein. Ist er - wie hier - auf dem Beschwerdeweg ergangen, ersetzt er die Verfügung(en), die Ausgangspunkt des Verfahrens war(en) (Devolutiveffekt). Der Antrag, auch den Einspracheentscheid aufzuheben, erweist sich somit als unzulässig. Der Einspracheentscheid gilt zwar als mitangefochten; seine selbständige Beanstandung ist aber ausgeschlossen (vgl. u.a. <ref-ruling> E. 2a S. 303; <ref-ruling> E. 1c S. 33; <ref-ruling> E. 1c S. 416).
1.2 Mit Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts gerügt werden (Art. 104 lit. a und b OG). Hat jedoch - wie hier - eine richterliche Behörde als Vorinstanz entschieden und den Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften festgestellt, ist das Bundesgericht an ihre Sachverhaltsfeststellungen gebunden (Art. 105 Abs. 2 OG).
1.3 Im Rahmen der Verwaltungsgerichtsbeschwerde kann - wie im vorliegenden Fall - auch die Verletzung verfassungsmässiger Rechte gerügt werden, da die Bundesverfassung ebenfalls zum Bundesrecht im Sinne von Art. 104 OG gehört. Nicht einzutreten ist auf die Beschwerde allerdings insoweit, als sie pauschal und ohne weitere Präzisierung auf die Beschwerdeschrift im Verfahren der staatsrechtlichen Beschwerde betreffend die kantonalen Steuern (2P.308/2001) verweist (vgl. Ziff. 4 der Beschwerdeschrift; ASA 43, 462 E. 1; siehe auch: <ref-ruling> E. 2 S. 135; <ref-ruling> E. 1 S. 287 f.; ASA 61, 822 E. 2).
1.4 Gemäss Art. 110 Abs. 4 OG findet ein zweiter Schriftenwechsel nur ausnahmsweise statt. Hier ist ein solcher nicht angeordnet worden. Unaufgefordert hat der Beschwerdeführer auf die Vernehmlassung der Eidgenössischen Steuerverwaltung repliziert, wofür er sich auf seinen verfassungsmässigen Anspruch auf rechtliches Gehör beruft. Jedoch zu Unrecht: Dieser Anspruch schliesst nicht das Recht ein, zu jeder Zeit mit neuen Rechtsgründen und Einwendungen an den entscheidenden Richter zu gelangen. Er besteht nur, wenn in der Vernehmlassung der Gegenpartei neue und erhebliche Tatsachen, Beweismittel oder Rechtsgründe vorgetragen worden sind, zu denen der Beschwerdeführer noch keine Stellung nehmen konnte. Insbesondere rechtfertigt der blosse Umstand, dass in einer Vernehmlassung zusätzlich zu den im angefochtenen Entscheid angeführten Gründen weitere diesen stützende Argumente vorgebracht werden, noch keine Gewährung des Replikrechts. Zudem dient ein zweiter Schriftenwechsel in keinem Falle dazu, Darlegungen nachzuholen, die in der Beschwerdeschrift hätten vorgebracht werden können und müssen.
Gerade dies ist aber hier der Fall: Die Vernehmlassung der Eidgenössischen Steuerverwaltung enthält keine neuen und rechtserheblichen Gesichtspunkte (vgl. dazu E. 1.1.1 hiervor). Die zweite Eingabe des Beschwerdeführers ans Bundesgericht enthält nichts, zu dem nicht schon der angefochtene Entscheid, sondern erst die behördliche Vernehmlassung Anlass zur Äusserung gegeben hätte. Die Replik dient somit ausschliesslich dazu, zuvor Versäumtes nachzuholen, mit zum Teil neuen Anträgen und Argumenten. Sie muss daher unberücksichtigt bleiben und ist ohne weiteres aus dem Recht zu weisen (vgl. zum Ganzen: <ref-ruling> E. 1 S. 323; unveröffentlichte E. 2a von 116 II 605; <ref-ruling> E. 1 S. 89; vgl. auch RDAT 1995 II n. 19t S. 492 E. 1a, PMMBl 1994 I S. 43 E. 3b sowie Fritz Gygi, Bundesverwaltungsrechtspflege, 2. Aufl., Bern 1983, S. 194).
Gerade dies ist aber hier der Fall: Die Vernehmlassung der Eidgenössischen Steuerverwaltung enthält keine neuen und rechtserheblichen Gesichtspunkte (vgl. dazu E. 1.1.1 hiervor). Die zweite Eingabe des Beschwerdeführers ans Bundesgericht enthält nichts, zu dem nicht schon der angefochtene Entscheid, sondern erst die behördliche Vernehmlassung Anlass zur Äusserung gegeben hätte. Die Replik dient somit ausschliesslich dazu, zuvor Versäumtes nachzuholen, mit zum Teil neuen Anträgen und Argumenten. Sie muss daher unberücksichtigt bleiben und ist ohne weiteres aus dem Recht zu weisen (vgl. zum Ganzen: <ref-ruling> E. 1 S. 323; unveröffentlichte E. 2a von 116 II 605; <ref-ruling> E. 1 S. 89; vgl. auch RDAT 1995 II n. 19t S. 492 E. 1a, PMMBl 1994 I S. 43 E. 3b sowie Fritz Gygi, Bundesverwaltungsrechtspflege, 2. Aufl., Bern 1983, S. 194).
2. 2.1 Die Steuerbarkeit von Gutschriften der Y._ Management als Vermögensertrag im Sinne von Art. 16 und 20 Abs. 1 DBG hat das Bundesgericht bereits im Urteil 2A.114/2001 vom 10. Juli 2001 in Sachen S. (publiziert in: StE 2001 B 21.1 Nr. 10) bejaht. Es hat erwogen, Einkommen gelte grundsätzlich dann als realisiert, wenn dem Steuerpflichtigen Leistungen zufliessen würden oder er einen festen Rechtsanspruch erwerbe, über den er tatsächlich verfügen könne. Im Falle der Vermögensanlagen bei der Y._ Management seien bereits deren Bestätigungen über den angeblichen Vermögenszuwachs als einkommensbildend zu betrachten. Denn damit hätten die Anleger über ihren Anspruch auf den Vermögenszuwachs verfügen können, entweder indem sie sich die Gutschrift auszahlen liessen oder indem sie diese für weitere Anlagen im Sinne des Verwaltungsauftrages mit der Y._ Management stehen liessen (vgl. auch StE 2003 B 21.1 Nr. 11; allgemein: ASA 66 377 E. 4; StR 2003 353).
2.2 Diese Grundsätze sind dem Beschwerdeführer bekannt. Ihnen entspricht auch das Urteil, mit dem das Bundesgericht am 31. Januar 2003 die Besteuerung der hier streitigen Gewinngutschriften als Vermögenserträge bei den Staats- und Gemeindesteuern 1996 und 1997 geschützt hat (2P.308/2001). Was hier dagegen vorgebracht wird, vermag keine Abkehr von dieser Rechtsprechung zu rechtfertigen:
2.2.1 Beträchtliche Teile der - ohne Rechtsbeistand verfassten - Beschwerdeschrift entbehren eines juristisch relevanten Inhalts. Nebst einigen gänzlich unsubstantiiert bleibenden Verfassungsrügen (Menschenwürde, Schutz vor Willkür, Wahrung von Treu und Glauben, allgemeine Verfahrensgarantien, usw.) werden zahlreiche sachfremde und mitunter ungehörige Anschuldigungen gegen die mit dem Fall befassten Behörden und Gerichte erhoben (u.a. die Anklage "Folter, psychische Folter" oder die Behauptung, das Bundesgericht betreibe gegenüber den unteren Instanzen "Anstiftung/Nötigung zu Diebstahl und Betrug"; vgl. auch die unangebrachten Vergleiche in Ziff. 18 u. 19 der Beschwerdeschrift). Darauf ist nicht weiter einzugehen. Ausserdem beruft sich der Beschwerdeführer lediglich auf pauschale Stellungnahmen von Politikern oder Steuerrechtsprofessoren in den Medien oder im persönlichen Brief- oder E-mail-Verkehr. Solche Meinungsäusserungen, die nichts offenbaren, was dem Bundesgericht unbekannt gewesen wäre, geben dem Bundesgericht keinen Anlass, seine Rechtsauffassung zu überdenken oder gar davon abzurücken.
2.2.2 Im Wesentlichen beschränkt sich die Argumentation des Beschwerdeführers auf folgende Vorbringen: Das in ein Schneeballsystem investierte Kapital sei real. Dagegen sei der erzielte Gewinn nur fiktiv gewesen, ebenso dessen Gutschrift. Tatsache sei, dass im Falle einer betrügerischen Vermögensverwaltung von Anfang an nicht einmal das investierte Kapital zurückverlangt werden könne, von den fiktiven Gewinnen gar nicht zu sprechen. Wenn im Nachhinein angenommen werde, der Anleger habe über die ihm gutgeschriebenen Erträge verfügt, sei dies angesichts der wirklichen Situation (und namentlich wegen des mit zunehmender Dauer des Schneeballsystems stetig wachsenden Missverhältnisses zwischen investiertem Kapital bzw. tatsächlich noch vorhandenem Anlegerkapital und den bloss gutgeschriebenen Beträgen) unredlich und unfair. Diese Argumentation verkennt aber sowohl den massgeblichen Zeitpunkt (nachfolgend E. 2.2.2.1) als auch die wegleitenden Grundsätze (E. 2.2.2.2 hiernach) für die steuerrechtliche Beurteilung :
2.2.2.1 Einerseits ist vorliegend nicht zu prüfen, ob es von allem Anfang an dem gesunden Menschenverstand zuwiderläuft, auf Grund erfahrungsgemäss unrealistischer Renditeversprechen Kapital in zumindest hochriskante Vermögensverwaltungssysteme zu investieren. Andererseits kann es grundsätzlich nicht darauf ankommen, wie ein Schneeballsystem nach seinem Zusammenbruch - d.h. im Nachhinein - beurteilt wird (vgl. ASA 66 377 E. 4d; StE 2003 B 21.1 Nr. 11 E. 2c). Aus dem gleichen Grund kann die Einkommensrealisierung bei gutgeschriebenen, aber nicht ausbezahlten Erträgen nicht schon mit dem Argument verneint werden, der Betrüger verfüge nicht über genügend Mittel, um alle Anleger zu befriedigen, wenn diese auf ihrem Recht auf Auszahlung ihrer Erträge sowie auf Rückerstattung ihrer Einlagen beharren würden. Denn die Situation, dass die Anleger vollumfänglich und gleichzeitig ihre Gewinne und Guthaben ausbezahlt bzw. zurückerstattet haben wollen, tritt bei Schneeballsystemen regelmässig erst dann ein, wenn das System schon als solches entlarvt oder wegen fehlender Liquidität zusammengebrochen ist.
Vielmehr ist, gemäss den allgemeinen Regeln zur Realisierung von Ertrag auf Kapitalvermögen, auf den Zeitpunkt abzustellen, in dem die Leistung fällig wird. Gutschriften gelten dann als einkommensbildend, wenn und soweit sie liquid und durchsetzbar erscheinen. Um feste Anwartschaften und nicht um unsicher gewordene Forderungen handelt es sich, solange die Anleger auf den Vermögenszuwachs greifen können. Hier fragt sich also, ob in den streitigen Jahre 1995 und 1996 noch Zahlungen erwirkt werden konnten oder ob eine Auszahlung der Erträge verweigert worden wäre, wenn sie verlangt worden wäre (vgl. StE 2001 B 21.1 Nr. 10 E. 3).
2.2.2.2 Steuerrechtlich massgeblich ist zudem nicht, wie der Beschwerdeführer meint, eine abstrakte Gesamtbetrachtung (z.B. das Missverhältnis zwischen den anfänglich getätigten Einlagen bzw. dem noch vorhandenen Anlegerkapital und allen gutgeschriebenen Beträgen). Vielmehr gilt für die Frage der Einkommensbildung eine auf die Person und das Guthaben des jeweiligen Pflichtigen ausgerichtete individuelle Betrachtungsweise (vgl. StE 2003 B 21.1 Nr. 11 E. 2d).
Nach dem von der Vorinstanz für das Bundesgericht verbindlich (Art. 105 Abs. 2 OG) festgestellten Sachverhalt ist Y._ seinen Verpflichtungen in den Jahren 1995 und 1996 noch nachgekommen. Damals hat die Y._ Management auf Verlangen nicht nur die monatlich gutgeschriebenen Erträge ausbezahlt, sondern auch Kapitaleinlagen zurückerstattet, und zwar - wie dem Bundesgericht aus dem Verfahren 2P.85/2004 bekannt ist - sogar in Millionenhöhe. Mit der Vorinstanz ist somit davon auszugehen, dass die jeweilige Forderung des Beschwerdeführers noch nicht unsicher erschien und er auf seinen Vermögenszuwachs greifen konnte. Er selbst macht denn auch nicht geltend, dass sich die Y._ Management in seinem Falle geweigert hätte, die fraglichen Gewinnanteile in bar auszuzahlen. Sogar er geht davon aus, dass die Y._ Management in jenem Zeitraum noch über mindestens Fr. 20 Mio. an einbezahltem Kapital verfügte (vgl. Ziff. 23 der staatsrechtlichen Beschwerde des Beschwerdeführers 2P.308/2001).
Wenn seine Gewinngutschriften Ende 1995 und 1996 nicht ausbezahlt wurden, so beruht dies nicht darauf, dass seine Forderungen uneinbringlich geworden wären (wie in dem vom Bundesgericht mit Urteil 2P.208/2002 vom 6. Februar 2003 in Sachen K. beurteilten Fall, publiziert in StR 2003, S. 359 ff.), sondern weil er die ihm gutgeschriebenen Erträge der Y._ Management in freier Entscheidung für weitere Anlagen gemäss dem Vermögensverwaltungsauftrag anvertraut hat. Er hat diese Erträge damals somit selber als keineswegs fiktiv, sondern durchaus real eingestuft, was durch Zweierlei belegt wird. Einerseits hat er (in seiner Steuererklärung 1997/98) per Ende 1995 und 1996 das um den jeweils gutgeschriebenen Ertrag erhöhte Kapital als Vermögen angegeben. Beim Einkommen hat er die Gewinne nur deshalb nicht deklariert, weil er darin fälschlicherweise steuerfreie Kapitalgewinne gesehen hat (vgl. zu dieser Fehleinschätzung u.a. ASA 66 377 E. 2b; StR 2003 353 E. 2.3). Andererseits ist er im November 1997 (d.h. knapp ein halbes Jahr vor der Konkurseröffnung) noch davon ausgegangen, dass die Rückzahlung gesichert sei. Damals hat er der Y._ Management eine weitere Kapitaleinlage von Fr. 10'000.-- anvertraut, was sich nur dadurch erklären lässt, dass er die Vermögensanlage als nicht gefährdet betrachtete.
2.2.2.3 Daraus ergibt sich gesamthaft, dass der Beschwerdeführer bezüglich der hier interessierenden Ertragsgutschriften 1995 und 1996 eine feste Anwartschaft erworben hat, was übrigens seiner eigenen Einschätzung im massgeblichen Zeitpunkt entsprach. Es trifft zwar zu, dass er sich mit seinen Vermögens- und Einkommensverfügungen selber doppelt bestraft hat: Als er die durchaus noch reale Möglichkeit hatte, sich seine Gewinne auszahlen und seine Grundinvestition zurückerstatten zu lassen, hat er stattdessen sowohl seine Erträge weiterinvestiert als auch zusätzliche Kapitaleinlagen getätigt. Diese Entscheidungen sind steuerlich relevant, selbst wenn sie sich im Nachhinein als Fehlspekulationen herausgestellt haben und die sich daraus ergebenden Verluste auf Privatvermögen nicht einkommensmindernd berücksichtigt werden können (vgl. ASA 66 377 E. 4d). Insofern liegt aber weder ein Verstoss gegen den Grundsatz der Besteuerung nach der wirtschaftlichen Leistungsfähigkeit noch eine Verletzung der Eigentumsgarantie vor.
2.2.3 Zu Unrecht beklagt sich der Beschwerdeführer im Weiteren über eine rechtswidrige Ungleichbehandlung gegenüber anderen Anlegern der Y._ Management. Wie die Vorinstanz zutreffend festgehalten hat, beansprucht er damit nur eine nicht zu schützende Gleichbehandlung im Unrecht. Es kann hier vollumfänglich auf die Begründung des angefochtenen Entscheids verwiesen werden (vgl. E. 2d S. 8-9).
2.2.4 Schliesslich macht der Beschwerdeführer eine Verletzung der Unschuldsvermutung geltend. Dieser Einwand ist aber von vornherein unbegründet, geht es doch hier nicht um ein Steuerstrafverfahren.
2.2.4 Schliesslich macht der Beschwerdeführer eine Verletzung der Unschuldsvermutung geltend. Dieser Einwand ist aber von vornherein unbegründet, geht es doch hier nicht um ein Steuerstrafverfahren.
3. Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist. Entsprechend diesem Ausgang des Verfahrens sind die Kosten dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG in Verbindung mit Art. 153 und 153a OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
2. Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Kantonalen Steueramt Zürich und der Bundessteuer-Rekurskommission des Kantons Zürich sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 14. Januar 2005
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: