Sachverhalt: Mit Verfügung vom 18. November 2004 und Einspracheentscheid vom 4. April 2005 verpflichtete die Ausgleichskasse des Kantons Zürich u.a. J._, bis 31. Juli 2003 Mitglied des Verwaltungsrates und Geschäftsführer der (nachmals von Amtes wegen aufgelösten) Firma O._ AG, zur Bezahlung von Schadenersatz in Höhe von Fr. 24'317.90 für entgangene paritätische Sozialversicherungsbeiträge und Folgekosten. Das Sozialversicherungsgericht des Kantons Zürich wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 26. April 2006 teilweise gut und reduzierte den von J._ zu leistenden Schadenersatzbetrag auf Fr. 21'191.50. J._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, er sei von jeglicher Schadenersatzpflicht zu befreien. Während Ausgleichskasse und Bundesamt für Sozialversicherungen auf eine Vernehmlassung zur Verwaltungsgerichtsbeschwerde verzichten, schliesst der als Mitinteressierter beigeladene B._ auf Abweisung.