Sachverhalt:
Sachverhalt:
A. M._ ist seit 1. Januar 2001 als Finanzplaner für die im Land Q._ ansässige X._ AG tätig. Am 24./26. Februar 2003 meldete er sich bei der Ausgleichskasse Luzern als Arbeitnehmer ohne beitragspflichtigen Arbeitgeber an. Die Ausgleichskasse erliess daraufhin am 27. Februar 2003 Beitragsverfügungen für die Jahre 2001, 2002 und 2003. Am 28. Februar 2003 verneinte die Familienausgleichskasse des Kantons Luzern ihrerseits verfügungsweise einen Anspruch auf Familienzulagen.
Mit Schreiben vom 24. März 2003 erklärte M._, er erhebe gegen die vier erwähnten Verfügungen vorsorglich Einsprache. Die Ausgleichskasse wies ihn am 28. März 2003 darauf hin, dass seine Eingabe die Anforderungen an eine rechtsgültige Einsprache nicht erfülle, und räumte eine Frist von 10 Tagen zur Verbesserung ein, welche in der Folge verlängert wurde. Am 12. Mai 2003 liess M._ erklären, er wende sich nicht gegen die Beitragsverfügung als solche, sondern gegen die Tatsache, dass er beitragsmässig als Selbstständigerwerbender betrachtet werde, aber trotzdem keinen Anspruch auf Kinderzulagen habe. Er beantrage daher präzisierend, dass die Abweisungsverfügung betreffend Familienzulagen vom 28. Februar 2003 aufzuheben sei und ihm rückwirkend ab dem Jahr 2001 Kinderzulagen auszurichten seien.
Mit Entscheid vom 23. Mai 2003 schrieb die Ausgleichskasse die Einsprache gegen die Beitragsverfügungen vom 27. Februar 2003 infolge Rückzugs ab.
Mit Entscheid vom 23. Mai 2003 schrieb die Ausgleichskasse die Einsprache gegen die Beitragsverfügungen vom 27. Februar 2003 infolge Rückzugs ab.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern ab (Entscheid vom 19. April 2004).
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern ab (Entscheid vom 19. April 2004).
C. Mit Verwaltungsgerichtsbeschwerde beantragt M._ unter anderem die Aufhebung des kantonalen Entscheids und des Einspracheentscheids. Auf Rückfrage des Eidgenössischen Versicherungsgerichts erklärte er in Präzisierung der Beschwerdeschrift, der darin erwähnte Anspruch auf Familienzulagen sei mittels separater staatsrechtlicher Beschwerde beim schweizerischen Bundesgericht in Lausanne geltend gemacht worden.
Das Verwaltungsgericht des Kantons Luzern hat auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Gemäss Art. 128 OG beurteilt das Eidgenössische Versicherungsgericht letztinstanzlich Verwaltungsgerichtsbeschwerden gegen Verfügungen im Sinne von Art. 97, 98 lit. b - h und 98a OG auf dem Gebiet der Sozialversicherung. Im verwaltungsgerichtlichen Beschwerdeverfahren sind grundsätzlich nur Rechtsverhältnisse zu überprüfen bzw. zu beurteilen, zu denen die zuständige Verwaltungsbehörde vorgängig verbindlich - in Form einer Verfügung - Stellung genommen hat. Insoweit bestimmt die Verfügung den beschwerdeweise weiterziehbaren Anfechtungsgegenstand. Umgekehrt fehlt es an einem Anfechtungsgegenstand und somit an einer Sachurteilsvoraussetzung, wenn und insoweit keine Verfügung ergangen ist (<ref-ruling> Erw. 1a, 119 Ib 36 Erw. 1b, je mit Hinweisen).
1.2 Mit dem vorinstanzlichen Entscheid, welcher den Anfechtungsgegenstand der Verwaltungsgerichtsbeschwerde bestimmt, wurde einzig über die Rechtmässigkeit des Einspracheentscheids vom 23. Mai 2003 befunden, welcher auf Abschreibung des Einspracheverfahrens zufolge Rückzugs lautete. Bei dieser prozessualen Ausgangslage hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob die Vorinstanz den Abschreibungsbeschluss der Verwaltung zu Recht bestätigt hat. Soweit der Beschwerdeführer darüber hinaus materiellrechtliche Anträge stellt, ist auf die Verwaltungsgerichtsbeschwerde nicht einzutreten.
1.2 Mit dem vorinstanzlichen Entscheid, welcher den Anfechtungsgegenstand der Verwaltungsgerichtsbeschwerde bestimmt, wurde einzig über die Rechtmässigkeit des Einspracheentscheids vom 23. Mai 2003 befunden, welcher auf Abschreibung des Einspracheverfahrens zufolge Rückzugs lautete. Bei dieser prozessualen Ausgangslage hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob die Vorinstanz den Abschreibungsbeschluss der Verwaltung zu Recht bestätigt hat. Soweit der Beschwerdeführer darüber hinaus materiellrechtliche Anträge stellt, ist auf die Verwaltungsgerichtsbeschwerde nicht einzutreten.
2. 2.1 Zu prüfen ist nach dem Gesagten, ob der vorinstanzlich bestätigte Abschreibungsbeschluss vom 23. Mai 2003 zu Recht erging. Die Ausgleichskasse begründete ihr Vorgehen mit dem Argument, die Eingabe des Rechtsvertreters vom 12. Mai 2003 sei als Rückzug der Einsprache zu verstehen, während das kantonale Gericht zum Ergebnis gelangte, die Abschreibung sei zufolge Anerkennung der angefochtenen Verfügung zu Recht erfolgt.
2.2 Gemäss Art. 10 Abs. 1 der Verordnung über den Allgemeinen Teil des Sozialversicherungsrechts (ATSV) müssen Einsprachen ein Rechtsbegehren und eine Begründung enthalten. Das Schreiben vom 24. März 2003 erfüllte diese Anforderungen nicht. Der Versicherte erklärte denn auch selbst, er werde "die entsprechenden Rechtsbegehren, Sachverhalte und Begründungen nachreichen". Der Versicherer hatte deshalb gemäss <ref-law> eine angemessene Frist zur Behebung der Mängel anzusetzen, verbunden mit der Androhung, dass sonst auf die Einsprache nicht eingetreten werde. Dieser Vorschrift kam die Ausgleichskasse am 28. März 2003 nach. Gemäss der daraufhin eingereichten Rechtsschrift vom 12. Mai 2003 wendet sich der Einsprecher nicht gegen die Beitragsverfügungen [vom 27. Februar 2003] als solche und beantragt präzisierend, dass die Abweisungsverfügung betreffend Familienzulagen vom 28. Februar 2003 aufzuheben und ihm rückwirkend Kinderzulagen auszurichten seien. In der Folge wird dargelegt, warum dieser Zulagenanspruch bestehe. Die Verbesserung der vorsorglichen Einsprache enthält somit keine Äusserung des Willens, die Beitragsverfügungen der Ausgleichskasse anzufechten, sondern vielmehr die sinngemässe Aussage, deren Rechtmässigkeit werde nicht bestritten. Dementsprechend fehlt auch eine diesbezügliche Begründung. Unter diesen Umständen ist nicht zu beanstanden, dass die Verwaltung von einer materiellen Überprüfung der Beitragsverfügungen absah, wobei offen bleiben kann, ob sie, statt die Einsprache zufolge Rückzugs (oder, wie die Vorinstanz annimmt, Anerkennung der Rechtmässigkeit der angefochtenen Verfügungen) abzuschreiben, die Sache durch einen Nichteintretensentscheid wegen Fehlens einer gültigen Einsprache hätte erledigen sollen.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 16. August 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: