Das Bundesgericht stellt fest und zieht in Erwägung:
1. 1.1 Die schwedische Finanzmarktaufsichtsbehörde "Finansinspektionen" ermittelt wegen allfälliger Insidervergehen bei Geschäften mit Aktien der Firma "Esselte AB". In diesem Zusammenhang ersuchte sie die Eidgenössische Bankenkommission (EBK) am 1. April 2003 bezüglich mehrerer über die Schweiz abgewickelter Transaktionen um Amtshilfe (Art. 38 Abs. 2 des Bundesgesetzes vom 24. März 1995 über die Börsen und den Effektenhandel, BEHG; SR 954.1). Die EBK verfügte am 21. Januar 2004, dass dem Gesuch entsprochen und der "Finansinspektionen" mitgeteilt werde, dass folgende Transaktionen von A._ getätigt worden seien:
Datum
Kauf/Verkauf
Menge
Stückpreis
14.05.02
Kauf
13'000
SEK 78.77
14.05.02
Kauf
7'000
SEK 78
22.05.02
Kauf
5'000
SEK 78.50
24.05.03 [recte: 02]
Verkauf
25'000
SEK 89
A._ erkläre, diese Geschäfte aufgrund von Medienberichten in der schwedischen Presse, der Tatsache, dass "Esselte AB" als Übernahmekandidatin gehandelt worden sei, und im Hinblick auf die Strategie des schwedischen Investors B._ getätigt zu haben. Die Bankenkommission wies in ihrer Verfügung die "Finansinspektionen" darauf hin, dass diese Informationen ausschliesslich zur direkten Beaufsichtigung der Börsen und des Effektenhandels verwendet werden dürften (Ziff. 2 des Dispositivs) und jegliche Weiterleitung an andere Instanzen - inklusive Strafbehörden - ihrer erneuten vorgängigen Zustimmung bedürfe (Ziff. 3 des Dispositivs).
1.2 A._ beantragt vor Bundesgericht, diese Verfügung aufzuheben und das Amtshilfeersuchen abzuweisen; eventuell sei die Sache für zusätzliche Abklärungen (Rechtsschutzinteresse, "best-efforts"-Erklärung, Hängigkeit eines Strafverfahrens) an die Bankenkommission zurückzuweisen; subeventuell sei diese anzuhalten, nach Gewährung des rechtlichen Gehörs bezüglich der "best-efforts"-Erklärung der "Finansinspektionen" neu zu verfügen. Die Bankenkommission schliesst auf Abweisung der Beschwerde.
2. Die Eingabe erweist sich als offensichtlich unbegründet und kann - ohne den vom Beschwerdeführer beantragten zweiten Schriftenwechsel (vgl. Art. 110 Abs. 4 OG; Urteil 2A.567/2001 vom 15. April 2002, E. 1.2) - im vereinfachten Verfahren nach Art. 36a OG erledigt werden:
2.1 Bei der schwedischen "Finansinspektionen" handelt es sich um eine börsenrechtliche Aufsichtsbehörde, welcher die Bankenkommission im Rahmen von Art. 38 BEHG Amtshilfe leisten kann (Urteil 2A.567/2001 vom 15. April 2002, E. 3 u. 5.1). Sie hat in ihrem Gesuch vom 1. April 2003 zugesichert, die erhaltenen Informationen vertraulich zu behandeln und nur für aufsichtsrechtliche Zwecke zu verwenden; bereits im Rahmen des Briefwechsels vom Dezember 1999 hat sie erklärt, vor einer Weitergabe an andere Behörden die Bankenkommission um ihre Zustimmung zu ersuchen und bei deren Verweigerung jeweils "best efforts" zu üben. Die Bankenkommission hat praxisgemäss entsprechende Vorbehalte in die angefochtene Verfügung aufgenommen (Ziff. 2 und 3 des Dispositivs). Entgegen den Einwendungen des Beschwerdeführers besteht keine Veranlassung, an der Ernsthaftigkeit dieser Erklärungen zu zweifeln und die ausschliessliche und vertrauliche Verwendung der aufsichtsrechtlich einverlangten Informationen zu dem im Ersuchen genannten Zweck in Frage zu stellen (vgl. <ref-ruling> E.3.2 S.411 f.). Bis zum Beweis des Gegenteils darf die EBK davon ausgehen, dass sich die "Finansinspektionen" im Interesse einer funktionierenden Zusammenarbeit an die von ihr abgegebenen Zusicherungen halten und im zwischenstaatlichen Verkehr mit der erforderlichen Zurückhaltung operieren wird. Nachdem bereits im Amtshilfeersuchen auf die Erklärung vom Dezember 1999 Bezug genommen worden war, wäre es am Beschwerdeführer gewesen, in diese Einsicht zu verlangen, wollte er sie nach dem Urteil 2A.567/2001 vom 15. April 2002, von dem er Kenntnis hatte, erneut in Frage stellen. Es liegt deshalb - entgegen seiner Kritik - diesbezüglich keine formelle Rechtsverweigerung vor, auch wenn der Bankenkommission noch einmal in Erinnerung zu rufen ist, dass es das Bundesgericht als wünschbar bezeichnet hat, dass Kopien von den Briefwechseln mit ausländischen Aufsichtsbehörden künftig jeweils von Amtes wegen in die Akten aufgenommen werden (Urteil 2A.55/2003 vom 17. März 2003, E. 3.2). Soweit der Beschwerdeführer kritisiert, es stehe nicht fest, über welche eigenständigen Sanktionsbefugnisse die "Finansinspektionen" verfüge, verkennt er, dass solche für die Amtshilfe nicht vorausgesetzt sind (vgl. <ref-ruling> E. 3.5 S. 493) und auch bei allfälligen Finanzmarktdelikten von Anlegern ein aufsichtsrechtliches Interesse an der Überwachung des Marktes als solchem besteht (vgl. <ref-ruling> E. 5b S. 73).
2.1 Bei der schwedischen "Finansinspektionen" handelt es sich um eine börsenrechtliche Aufsichtsbehörde, welcher die Bankenkommission im Rahmen von Art. 38 BEHG Amtshilfe leisten kann (Urteil 2A.567/2001 vom 15. April 2002, E. 3 u. 5.1). Sie hat in ihrem Gesuch vom 1. April 2003 zugesichert, die erhaltenen Informationen vertraulich zu behandeln und nur für aufsichtsrechtliche Zwecke zu verwenden; bereits im Rahmen des Briefwechsels vom Dezember 1999 hat sie erklärt, vor einer Weitergabe an andere Behörden die Bankenkommission um ihre Zustimmung zu ersuchen und bei deren Verweigerung jeweils "best efforts" zu üben. Die Bankenkommission hat praxisgemäss entsprechende Vorbehalte in die angefochtene Verfügung aufgenommen (Ziff. 2 und 3 des Dispositivs). Entgegen den Einwendungen des Beschwerdeführers besteht keine Veranlassung, an der Ernsthaftigkeit dieser Erklärungen zu zweifeln und die ausschliessliche und vertrauliche Verwendung der aufsichtsrechtlich einverlangten Informationen zu dem im Ersuchen genannten Zweck in Frage zu stellen (vgl. <ref-ruling> E.3.2 S.411 f.). Bis zum Beweis des Gegenteils darf die EBK davon ausgehen, dass sich die "Finansinspektionen" im Interesse einer funktionierenden Zusammenarbeit an die von ihr abgegebenen Zusicherungen halten und im zwischenstaatlichen Verkehr mit der erforderlichen Zurückhaltung operieren wird. Nachdem bereits im Amtshilfeersuchen auf die Erklärung vom Dezember 1999 Bezug genommen worden war, wäre es am Beschwerdeführer gewesen, in diese Einsicht zu verlangen, wollte er sie nach dem Urteil 2A.567/2001 vom 15. April 2002, von dem er Kenntnis hatte, erneut in Frage stellen. Es liegt deshalb - entgegen seiner Kritik - diesbezüglich keine formelle Rechtsverweigerung vor, auch wenn der Bankenkommission noch einmal in Erinnerung zu rufen ist, dass es das Bundesgericht als wünschbar bezeichnet hat, dass Kopien von den Briefwechseln mit ausländischen Aufsichtsbehörden künftig jeweils von Amtes wegen in die Akten aufgenommen werden (Urteil 2A.55/2003 vom 17. März 2003, E. 3.2). Soweit der Beschwerdeführer kritisiert, es stehe nicht fest, über welche eigenständigen Sanktionsbefugnisse die "Finansinspektionen" verfüge, verkennt er, dass solche für die Amtshilfe nicht vorausgesetzt sind (vgl. <ref-ruling> E. 3.5 S. 493) und auch bei allfälligen Finanzmarktdelikten von Anlegern ein aufsichtsrechtliches Interesse an der Überwachung des Marktes als solchem besteht (vgl. <ref-ruling> E. 5b S. 73).
2.2 2.2.1 Für die börsenrechtliche (Vor-)Abklärung, ob Marktteilnehmer in unzulässiger Weise Insiderinformationen ausgenutzt oder Preise manipuliert haben, genügt, dass das interessierende Geschäft in einem zeitlichen Zusammenhang mit einer verdächtigen Marktentwicklung erfolgte; eine bestimmte Kursentwicklung oder ein spezifisches Handelsvolumen ist nicht erforderlich (vgl. <ref-ruling> E. 5.2.2 S. 418; Urteile 2A.534/2001 vom 15. März 2002, E. 4.2.1, 2A.434/2001 vom 15. Februar 2002, E. 4.3, 2A.55/2003 vom 17. März 2003, E. 4.2.1). Auch wenn im Zeitpunkt, in dem die Vorabklärungen (vgl. <ref-ruling> E. 5b S. 73) aufgenommen werden, aufgrund einer Marktauffälligkeit (<ref-ruling> E. 5a: "suffisamment d'indices de possibles distorsions du marché"; <ref-ruling> E. 4.1 S. 494) erst abstrakte Hinweise auf eine mögliche Verletzung börsenrechtlicher Vorschriften bestehen, bleibt die Amtshilfe zulässig (<ref-ruling> E. 6b/bb S. 74, 450 E. 3b S. 457). Der Beschwerdeführer hat die umstrittenen Transaktionen im Vorfeld der Bekanntgabe des Übernahmeangebots der J.W. Childs Equity Partners III, L.P., für die "Esselte AB" (zu SEK 90 pro Aktie) am 24. Mai 2002 getätigt, wobei sich die Preise im kritischen Zeitraum zwischen SEK 66.48 und 81.13 bewegt haben. Gestützt hierauf bestand ein hinreichender aufsichtsrechtlicher Anlass, die Geschäfte näher zu prüfen; nach der Rechtsprechung stehen selbst rein stichprobeweise begründete Kontrollen anlässlich eines marktrelevanten Vorkommnisses der Amtshilfe nicht entgegen (<ref-ruling> E. 6b/bb S. 74). Einzig für die Weiterreichung der übermittelten Angaben an die Straf(verfolgungs)behörden bedarf es zusätzlicher Anhaltspunkte, die eine strafrechtlich relevante Verhaltensweise im Einzelfall mit einer minimalen Wahrscheinlichkeit nahe legen (<ref-ruling> E. 4.2 S. 495; <ref-ruling> E. 5.3.1 S. 419 f., je mit Hinweisen). Da eine solche Weitergabe hier zurzeit nicht zur Diskussion steht, die Bankenkommission hierüber gegebenenfalls erst noch zu verfügen hätte (<ref-ruling> E. 10 S. 77 ff.) und keinerlei konkrete Anhaltspunkte dafür bestehen, dass mit der Amtshilfe die Rechtshilfe umgangen werden soll, erübrigt es sich, auf die entsprechenden Einwände des Beschwerdeführers (Strafbarkeit nach schwedischem Recht, Anlagestrategie etc.) weiter einzugehen.
2.2.2 Ob der Beschwerdeführer tatsächlich von Insiderinformationen profitiert hat, bildet nicht Gegenstand des Amtshilfeverfahrens (<ref-ruling> E. 7b/aa S. 334; <ref-ruling> E. 6a/bb S. 137). Er wendet deshalb vergeblich ein, die umstrittenen Transaktionen beruhten auf Marktbeobachtungen und auf seit längerem kursierenden Gerüchten (vgl. <ref-ruling> E. 4.2 S. 495 f.; <ref-ruling> E. 5.2.3 S. 419). Es wird an der "Finansinspektionen" sein, abzuklären, ob bei den interessierenden Geschäften börsenrechtliche Bestimmungen verletzt worden sind und Anlass besteht, - nach Einholen der Zustimmung der Bankenkommission - die Straf(verfolgungs)behörden zu informieren, oder ob sich aufgrund der Umstände aufsichtsrechtliche Weiterungen zum Vornherein erübrigen (<ref-ruling> E. 5b/aa S. 415). Nur die ausländische Aufsichtsbehörde kann aufgrund der verschiedenen Indizien die einzelnen Geschäfte in einen Gesamtzusammenhang stellen und gestützt hierauf deren aufsichtsrechtliche Relevanz beurteilen (<ref-ruling> E. 4.1 S. 494 mit Hinweisen). Die Amtshilfe ist praxisgemäss nicht schon dann unverhältnismässig, wenn der betroffene Kunde in mehr oder weniger plausibler Weise darzutun vermag, dass er seinen Kaufentscheid gestützt auf öffentlich zugängliche Informationen getroffen hat, sondern nur, wenn er einen entsprechenden Anfangsverdacht klarerweise und unzweideutig entkräften kann (<ref-ruling> E. 5.2.3 S. 419; <ref-ruling> E. 6b/aa S. 332 f.). Dies ist hier, auch wenn der Beschwerdeführer seine Kaufaufträge zeitlich limitiert hat, nicht der Fall, erfolgten diese doch jeweils "bestens", weshalb mit einer raschen Realisierung gerechnet werden konnte. Die von ihm ins Recht gelegten Artikel schliessen die Möglichkeit eines spezifischen (weitergehenden) Insiderwissens ebenso wenig aus wie sein angeblich starkes, anderweitiges berufliches Engagement im Vorfeld der Transaktionen. Für alles Übrige kann auf die zutreffenden Ausführungen der Bankenkommission im angefochtenen Entscheid und in ihrer Vernehmlassung verwiesen werden (Art. 36a Abs. 3 OG).
3. Dem Verfahrensausgang entsprechend wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG). Parteientschädigungen sind nicht geschuldet (vgl. Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 5'000.-- wird dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer und der Eidgenössischen Bankenkommission schriftlich mitgeteilt.
Lausanne, 5. April 2004
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: