Sachverhalt:
Sachverhalt:
A. Mit Nachtragsverfügungen vom 13. August 1998 qualifizierte die Ausgleichskasse des Kantons Zürich K._ als selbstständigerwerbend und legte seine Sozialversicherungsbeiträge für die Jahre 1998 und 1999 auf je Fr. 402.- fest bei einem anerkannten in den Betrieb investierten Eigenkapital von Fr. 40'000.-.
A. Mit Nachtragsverfügungen vom 13. August 1998 qualifizierte die Ausgleichskasse des Kantons Zürich K._ als selbstständigerwerbend und legte seine Sozialversicherungsbeiträge für die Jahre 1998 und 1999 auf je Fr. 402.- fest bei einem anerkannten in den Betrieb investierten Eigenkapital von Fr. 40'000.-.
B. Gegen diese Verfügungen reichte der Versicherte am 27. August 1998 Beschwerde beim Sozialversicherungsgericht des Kantons Zürich (Sozialversicherungsgericht) ein und beantragte eine Korrektur des angenommenen, in den Betrieb investierten Kapitals. Nach intraprozessual erfolgten Abklärungen bei den zuständigen Steuerbehörden verfügte die Ausgleichskasse am 4. November 1998, dass K._ ab 1993 bis 1999 als Nichterwerbstätiger zu veranlagen sei, und legte die zu entrichtenden Beiträge pro Jahr auf Fr. 10'403.- fest. Hiegegen erhob K._ am 26. November 1998 wiederum Beschwerde beim Sozialversicherungsgericht mit dem Antrag, er sei weiterhin als Selbstständigerwerbender zu erfassen. Die Ausgleichskasse ihrerseits beantragte die Vereinigung der Verfahren und Abweisung der Beschwerden. Nachdem das Sozialversicherungsgericht die Verfahren mit Verfügung vom 23. Februar 1999 vereinigt hatte, wies es die Beschwerden ab, soweit es sie nicht als gegenstandslos abschrieb (Entscheid vom 19. Januar 2001).
B. Gegen diese Verfügungen reichte der Versicherte am 27. August 1998 Beschwerde beim Sozialversicherungsgericht des Kantons Zürich (Sozialversicherungsgericht) ein und beantragte eine Korrektur des angenommenen, in den Betrieb investierten Kapitals. Nach intraprozessual erfolgten Abklärungen bei den zuständigen Steuerbehörden verfügte die Ausgleichskasse am 4. November 1998, dass K._ ab 1993 bis 1999 als Nichterwerbstätiger zu veranlagen sei, und legte die zu entrichtenden Beiträge pro Jahr auf Fr. 10'403.- fest. Hiegegen erhob K._ am 26. November 1998 wiederum Beschwerde beim Sozialversicherungsgericht mit dem Antrag, er sei weiterhin als Selbstständigerwerbender zu erfassen. Die Ausgleichskasse ihrerseits beantragte die Vereinigung der Verfahren und Abweisung der Beschwerden. Nachdem das Sozialversicherungsgericht die Verfahren mit Verfügung vom 23. Februar 1999 vereinigt hatte, wies es die Beschwerden ab, soweit es sie nicht als gegenstandslos abschrieb (Entscheid vom 19. Januar 2001).
C. K._ erhebt Verwaltungsgerichtsbeschwerde mit dem Antrag, der kantonale Entscheid und die Verfügungen vom 4. November 1998 seien aufzuheben, und er sei gemäss den ursprünglichen Verfügungen durchgehend als Selbstständigerwerbender zu erfassen und einzuschätzen; eventuell sei die Sache mit den entsprechenden Weisungen an die Ausgleichskasse zurückzuweisen. Er legt eine Mitteilung der Städtischen Werke X._ vom 15. Mai 2000, einen Auszug aus dem Kursbuch (Regionalfahrplan) sowie einen Prospekt des VBZ-Nachtbusses auf.
Die Ausgleichskasse und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Da es sich bei den angefochtenen Verfügungen nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidgenössische Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidgenössische Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
2. Das kantonale Gericht hat die Bestimmungen und die Grundsätze über den Begriff der selbstständigen Erwerbstätigkeit und die Kriterien zur Abgrenzung von Nichterwerbstätigkeit (Art. 3 Abs. 1 Satz 1, Art. 8 Abs. 2 Satz 1 und <ref-law>; <ref-ruling> ff.; ZAK 1988 S. 554 Erw. 2a, 1987 S. 417, 1986 S. 514), die Bemessung der Beiträge der Erwerbstätigen (<ref-law>) und der Nichterwerbstätigen (<ref-law>; Art. 28 Abs. 1, <ref-law>) sowie die Verbindlichkeit der Steuermeldung (<ref-law>; <ref-ruling> Erw. 2c, 114 V 75 Erw. 2, 110 V 86 Erw. 4 und 370 Erw. 2a, 102 V 30 Erw. 3a mit Hinweisen) zutreffend dargelegt. Gleiches gilt für die Rechtsprechung zur Wiedererwägung und zur prozessualen Revision (<ref-ruling> Erw. 4b, 46 Erw. 2b, 399 Erw. 1, 400 Erw. 2b/aa, 122 V 173 Erw. 4a, 117 V 12 Erw. 2a, 115 V 186 Erw. 2c, je mit Hinweisen). Darauf wird verwiesen.
Zu ergänzen ist, dass volle Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> in der Regel vorliegt, wenn für die Tätigkeit ein erheblicher Teil der im betreffenden Erwerbszweig üblichen Arbeitszeit aufgewendet wird. Diese Voraussetzung fehlt nach der von der Rechtsprechung geschützten Verwaltungspraxis, wenn der Beitragspflichtige nicht während mindestens der halben üblichen Arbeitszeit tätig ist (<ref-ruling> f. Erw. 10d; Rz 2030 der Wegleitung des Bundesamtes für Sozialversicherung über die Beiträge der Selbstständigerwerbenden und Nichterwerbstätigen in der seit 1. Januar 2001 gültigen Fassung, ebenso in der früheren, ab 1. Januar 1995 gültigen Fassung; WSN). Als nicht dauernd gilt eine Erwerbstätigkeit, die während weniger als neun Monaten im Kalenderjahr ausgeübt wird. Versicherte, die zwar dauernd, aber nicht voll, oder zwar voll, aber nicht dauernd erwerbstätig sind, gelten als Nichterwerbstätige, sofern die von ihrem Erwerbseinkommen zu entrichtenden Beiträge nicht der Hälfte des Betrages aus Nichterwerbstätigkeit entsprechen (Rz 2027 f. und 2031 WSN, ebenso in der seit 1. Januar 1995 gültigen Fassung).
Die Ausgleichskassen sind verpflichtet, nicht oder zu wenig entrichtete Beiträge nachzufordern (<ref-law> in Verbindung mit <ref-law>).
Die Ausgleichskassen sind verpflichtet, nicht oder zu wenig entrichtete Beiträge nachzufordern (<ref-law> in Verbindung mit <ref-law>).
3. 3.1 Die Ausgleichskasse hatte für die Jahre 1993 bis 1997 Beitragsverfügungen erlassen, die nach Lage der Akten offenbar unangefochten in Rechtskraft erwachsen sind. Um auf diese zurückzukommen und sie durch die nunmehr angefochtenen Verfügungen vom 4. November 1998 ersetzen zu können, bedurfte es grundsätzlich des Rückkommenstitels der Wiedererwägung oder der prozessualen Revision. Wie sich aus den nachfolgenden Erwägungen ergibt, liegt ein solcher Titel nicht vor.
3.1.1 Aus dem vorinstanzlichen Entscheid ergibt sich Folgendes: Der Beschwerdeführer sei seit dem 1. Januar 1987 als Selbstständigerwerbender erfasst. Er besitze unbestrittenermassen neun Autobusse und eine Werkstätte. Im Jahre 1994 habe er das letzte Fahrzeug zu einem Preis von Fr. 70'000.- gekauft, was die Ertragsberechnung in den Folgejahren bis 1997 mit Abschreibungskosten belastet habe. Die Jahresrechnungen seien in den Jahren 1996 und 1997 mit Kosten für Reparatur- und Unterhaltsarbeiten in Höhe von Fr. 5933.25 (1996) bzw. Fr. 27'213.- (1997) belastet worden. Seit 1. Januar 1994 habe er Aushilfschauffeure beschäftigt, sodass seine Kassenmitgliedschaft entsprechend angepasst worden sei. In den strittigen Jahren habe er gemäss seinen Angaben Gewinne zwischen Fr. 963.- (1997) und Fr. 47'371.- (1998) erwirtschaftet. Er habe glaubhaft dargelegt, dass er wegen des geringen Einkommens im Jahre 1993 (Fr. 24'652.- bzw. Fr. 28'452.-) seinen Betrieb habe restrukturieren müssen. Er habe deshalb 1994 den vorerwähnten Bus gekauft, was in Folge der Abschreibungen zunächst zu einem kleinerem Gewinn geführt habe. Die Vorinstanz kam zum Schluss, es liege Erwerbsabsicht und somit eine selbstständige Erwerbstätigkeit vor. Hingegen sei den Akten nichts zu entnehmen, das den genügenden Nachweis erbringen würde, dass er mehr als neun Monate arbeite oder mehr als ein halbes übliches Pensum verrichte. Die Vorinstanz verglich deshalb die Jahresgewinne des Versicherten in den Jahren 1993 bis 1998 mit dem Einkommen eines Gesellschaftswagenführers ab dem 3. Dienstjahr gemäss Lohnreglement zu Art. 3.01 des Gesamtarbeitsvertrages für das Transportgewerbe des Kantons Zürich vom 1. Januar 1996, welches von einem Monatsgehalt von Fr. 4300.- (inkl. 13. Monatslohn) ausgehe. Auf Grund dieser Vergleichsrechnung kam sie zum Schluss, dass in den Jahren 1993-1998 aufgewendete Arbeitszeiten zwischen minimal 0,22 Monaten (1997) und maximal 11 Monaten (1998) vorlägen. Unter diesen Umständen könne der Aussage des Versicherten, er arbeite dauernd voll, nicht gefolgt werden, selbst wenn zu seinen Gunsten angenommen würde, er verrichte einen Teil seiner Arbeit unentgeltlich.
3.1.2 Der Beschwerdeführer führte im vorinstanzlichen Verfahren aus, er fahre nicht nur die Autobusse, sondern führe an diesen die Reinigungs- und Unterhaltsarbeiten selbst aus. Er beschaffe die Ersatzteile für die Reparaturen, die er auch selbst durchführe. Innert sieben Jahren habe er einen Autobus total restauriert. Er nehme an Fahrplansitzungen teil, erstelle Offerten, retourniere Fundgegenstände und mache auch seine Werbung selbst. Die aufgeführten Einkommen seien in den Jahren 1994 bis 1997 nur deshalb tief gewesen, weil ausserordentliche Abschreibungen durch den Buskauf das Betriebsergebnis belastet hätten. Die Umstrukturierung und der gesamte Aufwand, den er getätigt habe, seien jedoch erfolgreich gewesen. Immerhin habe er per 1. September 1998 eine Bundeskonzession (Nr. 575) für den Linienverkehr auf maximal mögliche Dauer (10 Jahre) erhalten; der versteuerte Ertrag 1998 sei auf Fr. 47'371.- gestiegen. Für seinen Busbetrieb habe er 1984/85 ein Garagengebäude errichten lassen, das auf einem ihm gehörenden, 1072 m2 grossen Grundstück stehe. Als Beweismittel für seine Behauptungen beantragte er einen Augenschein seiner Betriebsstätte unter Beizug eines Experten aus der Branche, welcher allfällige offene Fragen klären könne, sowie den Beizug der Akten des die Konzession erteilenden Bundesamtes für Verkehr (BAV). Dieses habe im Frühjahr 1998 eine Betriebskontrolle durchgeführt.
3.2 Die Vorinstanz verzichtete darauf, die beantragten Beweise zu erheben. Stattdessen nahm sie die obige Vergleichsrechnung zwischen den Betriebsgewinnen des Beschwerdeführers und dem Einkommen eines Gesellschaftswagenführers vor. Gestützt hierauf und den unbestrittenen Umstand, dass der Versicherte über ein Reinvermögen von Fr. 4'119'677.- (1991) und Fr. 9'343'568.- (1997) verfügte, schützte sie die angefochtenen Verfügungen vom 4. November 1998.
Indessen darf ein Versicherter, der sich als selbstständigerwerbend bezeichnet, nicht mit dem blossen Hinweis auf fehlendes beitragspflichtiges Einkommen als Nichterwerbstätiger qualifiziert werden. Ob er erwerbstätig im Sinne von <ref-law> ist, beurteilt sich nicht anhand der Beitragshöhe gemäss <ref-law>, sondern nach den tatsächlichen wirtschaftlichen Gegebenheiten (<ref-ruling> Erw. 6e). Selbstständige Erwerbstätigkeit beginnt nicht erst mit dem Fliessen von Einkünften; denn es ist durchaus möglich, dass eine selbstständige Betätigung unter Umständen erst nach längerer Zeit zu Einkünften führt oder sich - trotz voller Erwerbstätigkeit - zwischenzeitlich Ertragseinbrüche ergeben. Werden keine Einkünfte erzielt, kann das allerdings ein deutlicher Hinweis dafür sein, dass Nichterwerbstätigkeit, bloss vorgegebene Erwerbstätigkeit oder allenfalls Erwerbstätigkeit unbedeutenden Umfangs vorliegt, was von Fall zu Fall auf Grund der tatsächlichen wirtschaftlichen Gegebenheiten zu prüfen ist (<ref-ruling> Erw. 9c).
Die von der Vorinstanz angestellte Vergleichsrechnung kann zwar zur Plausibilisierung der Angabe, ob für eine Beitragsperiode volle Erwerbstätigkeit vorliegt oder nicht, dienen. Hingegen darf wegen des gesetzgeberischen Willens, dass die tatsächlichen Verhältnisse zu berücksichtigen sind, nicht alleine auf eine solche theoretische Rechnung ohne Berücksichtigung dieser Verhältnisse abgestellt werden. Die Buchhaltung und das Einkommen eines Selbstständigerwerbenden sind nicht einfach mit dem Lohn eines Angestellten zu vergleichen. Investitionen, Amortisationen, ausserordentliche Aufwände, Veränderungen im wirtschaftlichen Umfeld etc. können die Jahresrechnung eines Betriebes negativ beeinflussen, auch wenn der Beitragspflichtige voll erwerbstätig ist. Obwohl der Beschwerdeführer darauf hingewiesen hat und aus den Akten ersichtlich ist, dass erhebliche ausserordentliche Aufwendungen getätigt wurden wie Restaurationen, Reparaturen, Unterhaltsarbeiten, Kauf eines zusätzlichen Busses, ausserordentlicher, mit dem Geschäft verknüpfter Beitrag an ein Fahr-zeugmuseum etc., sind diese Argumente in der Würdigung der Vergleichsrechnung nicht berücksichtigt worden. Akten, deren Beizug vom Beschwerdeführer beantragt wurde - wie die Unterlagen des BVA -, wurden nicht ediert, obwohl diese durchaus sinnvoll zur Beurteilung des Betriebes sein könnten. Es fehlen zudem die vollständigen Jahresrechnungen, aus denen das Ausmass der Geschäftsgänge erkennbar sein könnte, Abklärungen über das Ausmass der betriebsnotwendigen Immobilien, die Betriebsabläufe und den Tagesablauf in der Betriebsstätte sowie ein Produkte- und Dienstleistungsbeschrieb etc.. Aus all diesen Elementen liesse sich die Intensität der Geschäftstätigkeit des Beschwerdeführers ableiten.
Unter diesen Umständen muss von einer unvollständigen Sachverhaltsfeststellung ausgegangen werden, welche einer Bindungswirkung im konkreten Fall entgegensteht (Art. 105 Abs. 2 in Verbindung mit Art. 132 OG). Die Annahme, der Beschwerdeführer sei nicht "dauernd voll erwerbstätig" gewesen, stützt sich auf keinerlei konkrete Abklärungen hinsichtlich des effektiv geleisteten und erforderlich gewesenen Arbeits- und Zeitaufwandes. Damit kann auch ohne weitergehende Abklärungen mit hinreichender Bestimmtheit gesagt werden, dass die ursprüngliche Qualifizierung des Versicherten als dauernd voll selbstständig Erwerbstätigen jedenfalls nicht zweifellos unrichtig war. Damit fehlt es aber an einer unabdingbaren Wiedererwägungsvoraussetzung. Zudem mangelt es auch an den Voraussetzungen für eine prozessuale Revision (Erw. 3.1 hievor). Die Verwaltung konnte deshalb die für die Jahre 1993-1997 erlassenen Beitragsverfügungen nicht durch neue ersetzen. Dies führt zur Aufhebung der diese Beitragsjahre betreffenden Verfügungen vom 4. November 1998.
Unter diesen Umständen muss von einer unvollständigen Sachverhaltsfeststellung ausgegangen werden, welche einer Bindungswirkung im konkreten Fall entgegensteht (Art. 105 Abs. 2 in Verbindung mit Art. 132 OG). Die Annahme, der Beschwerdeführer sei nicht "dauernd voll erwerbstätig" gewesen, stützt sich auf keinerlei konkrete Abklärungen hinsichtlich des effektiv geleisteten und erforderlich gewesenen Arbeits- und Zeitaufwandes. Damit kann auch ohne weitergehende Abklärungen mit hinreichender Bestimmtheit gesagt werden, dass die ursprüngliche Qualifizierung des Versicherten als dauernd voll selbstständig Erwerbstätigen jedenfalls nicht zweifellos unrichtig war. Damit fehlt es aber an einer unabdingbaren Wiedererwägungsvoraussetzung. Zudem mangelt es auch an den Voraussetzungen für eine prozessuale Revision (Erw. 3.1 hievor). Die Verwaltung konnte deshalb die für die Jahre 1993-1997 erlassenen Beitragsverfügungen nicht durch neue ersetzen. Dies führt zur Aufhebung der diese Beitragsjahre betreffenden Verfügungen vom 4. November 1998.
4. Die ursprünglichen Nachtragsverfügungen vom 13. August 1998 für die Jahre 1998 und 1999 wurden mit der Beitragsverfügung vom 4. November 1998 innerhalb der laufenden vorinstanzlichen Vernehmlassungsfrist abgeändert, was an sich zulässig war (<ref-ruling> Erw. 2b/bb mit Hinweisen; ferner Christian Zünd, Kommentar zum Gesetz über das Sozialversicherungsgericht des Kantons Zürich, Diss., Zürich 1999, N 5 zu § 19). Da die Vorinstanz den in der neuen Verfügung zum Ausdruck gebrachten Rechtsstandpunkt der Verwaltung als zutreffend erachtete, hätte sie dem Versicherten die damit verbundene reformatio in peius der Verfügungen vom 13. August 1998 mit Hinweis auf die Möglichkeit des Beschwerderückzugs androhen müssen (<ref-ruling> ff.).
An sich müsste die Sache damit an das kantonale Gericht zurückgewiesen werden, damit es dies nachhole (<ref-ruling>; ZAK 1988 S. 615 Erw. 2b, SVR 1995 AlV Nr. 27 S. 69 Erw. 3b; unveröffentlichtes Urteil K. vom 28. März 2002 Erw. 7c, C 157+158/00). Da der Versicherte indessen in Ziff. 3 der Verwaltungsgerichtsbeschwerde erklärt, er halte an der Beschwerde vom 27. August 1998 gegen die Verfügungen vom 13. August 1998 nicht mehr fest, würde die Rückweisung einem formalistischen Leerlauf gleichkommen und dem Grundsatz der Prozessökonomie widersprechen (<ref-ruling>, 116 V 187 Erw. 2d; RKUV 1996 Nr. U 236 S. 33 Erw. 4b).
Schliesslich ist festzuhalten, dass ebenfalls für die Jahre 1998 und 1999 ein Rückkommenstitel fehlt, weshalb es auch diesbezüglich bei der ursprünglichen Verwaltungsverfügung bleibt.
Schliesslich ist festzuhalten, dass ebenfalls für die Jahre 1998 und 1999 ein Rückkommenstitel fehlt, weshalb es auch diesbezüglich bei der ursprünglichen Verwaltungsverfügung bleibt.
5. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Entsprechend dem Prozessausgang gehen die Gerichtskosten zu Lasten der Beschwerdegegnerin (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG). Der Beschwerdeführer hat Anspruch auf eine Parteientschädigung (Art. 159 Abs. 2 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
1. Bezüglich der Verfügungen der Ausgleichskasse des Kantons Zürich vom 13. August 1998 wird vom Rückzug der Beschwerde vom 27. August 1998 Vormerk genommen.
1. Bezüglich der Verfügungen der Ausgleichskasse des Kantons Zürich vom 13. August 1998 wird vom Rückzug der Beschwerde vom 27. August 1998 Vormerk genommen.
2. In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 19. Januar 2001 und die die Beitragsjahre 1993 bis und mit 1999 betreffenden Verfügungen der Ausgleichskasse des Kantons Zürich vom 4. November 1998 aufgehoben.
2. In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 19. Januar 2001 und die die Beitragsjahre 1993 bis und mit 1999 betreffenden Verfügungen der Ausgleichskasse des Kantons Zürich vom 4. November 1998 aufgehoben.
3. Die Gerichtskosten von Fr. 4000.- werden der Beschwerdegegnerin auferlegt.
3. Die Gerichtskosten von Fr. 4000.- werden der Beschwerdegegnerin auferlegt.
4. Der geleistete Kostenvorschuss von Fr. 4000.- wird dem Beschwerdeführer zurückerstattet.
4. Der geleistete Kostenvorschuss von Fr. 4000.- wird dem Beschwerdeführer zurückerstattet.
5. Die Beschwerdegegnerin hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 3000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
5. Die Beschwerdegegnerin hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 3000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
6. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 23. August 2002
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer: Der Gerichtsschreiber: