Sachverhalt: Sachverhalt: A. Die ehemalige Firma X._, ab 16. Januar 2002 Firma Z._ und ab 15. Mai 2002 Firma Y._, war bis zu ihrer Auflösung am 21. Juni 2002 der Ausgleichskasse des Kantons Nidwalden angeschlossen. Am 16. Januar 2003 stellte das Betreibungsamt Nidwalden zwei Pfändungsverlustscheine über einen Totalbetrag von Fr. 5'505.- aus. Mit Verfügung vom 21. Mai 2003 verpflichtete die Ausgleichskasse P._, der Mitglied des Verwaltungsrates war, zur Leistung von Schadenersatz für entgangene Sozialversicherungsbeiträge (einschliesslich FAK-Beiträge sowie Verwaltungskosten, Verzugszinsen, Mahngebühren und Betreibungskosten) in der Höhe von Fr. 5'505.-. Mit Einspracheentscheid vom 28. Juli 2003 hielt sie an der Schadenersatzverfügung vom 21. Mai 2003 fest. A. Die ehemalige Firma X._, ab 16. Januar 2002 Firma Z._ und ab 15. Mai 2002 Firma Y._, war bis zu ihrer Auflösung am 21. Juni 2002 der Ausgleichskasse des Kantons Nidwalden angeschlossen. Am 16. Januar 2003 stellte das Betreibungsamt Nidwalden zwei Pfändungsverlustscheine über einen Totalbetrag von Fr. 5'505.- aus. Mit Verfügung vom 21. Mai 2003 verpflichtete die Ausgleichskasse P._, der Mitglied des Verwaltungsrates war, zur Leistung von Schadenersatz für entgangene Sozialversicherungsbeiträge (einschliesslich FAK-Beiträge sowie Verwaltungskosten, Verzugszinsen, Mahngebühren und Betreibungskosten) in der Höhe von Fr. 5'505.-. Mit Einspracheentscheid vom 28. Juli 2003 hielt sie an der Schadenersatzverfügung vom 21. Mai 2003 fest. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Nidwalden mit Entscheid vom 26. Juli 2004 ab. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Nidwalden mit Entscheid vom 26. Juli 2004 ab. C. P._ lässt Verwaltungsgerichtsbeschwerde führen und Aufhebung des vorinstanzlichen Entscheides beantragen. Es sei ihm eine angemessene Parteientschädigung zuzusprechen. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.