Sachverhalt: Sachverhalt: A. Der 1946 geborene H._ meldete sich am 27. September 2002 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 13. März 2003 sprach ihm die IV-Stelle des Kantons Zürich mit Wirkung ab 1. Mai 20002 eine halbe Rente (nebst Zusatzrente für die Ehefrau und einer Kinderrente) zu. Daran hielt sie mit Einspracheentscheid vom 27. Oktober 2003 fest. A. Der 1946 geborene H._ meldete sich am 27. September 2002 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 13. März 2003 sprach ihm die IV-Stelle des Kantons Zürich mit Wirkung ab 1. Mai 20002 eine halbe Rente (nebst Zusatzrente für die Ehefrau und einer Kinderrente) zu. Daran hielt sie mit Einspracheentscheid vom 27. Oktober 2003 fest. B. Die hiegegen erhobene Beschwerde hiess das Sozialversicherungsge-richt des Kantons Zürich mit Entscheid vom 20. Juli 2004 teilweise gut, indem es H._ mit Wirkung ab 1. September 2003 bei einem Invaliditätsgrad von 75 % eine ganze Rente zusprach (Dispositiv-Ziffer 1). Ferner wurde darauf verzichtet, der IV-Stelle eine Prozessentschädigung aufzuerlegen, wobei der Rechtsvertreter von H._ als unentgeltlicher Rechtsbeistand mit Fr. 1075.- entschädigt wurde (Dispositiv-Ziffer 3). B. Die hiegegen erhobene Beschwerde hiess das Sozialversicherungsge-richt des Kantons Zürich mit Entscheid vom 20. Juli 2004 teilweise gut, indem es H._ mit Wirkung ab 1. September 2003 bei einem Invaliditätsgrad von 75 % eine ganze Rente zusprach (Dispositiv-Ziffer 1). Ferner wurde darauf verzichtet, der IV-Stelle eine Prozessentschädigung aufzuerlegen, wobei der Rechtsvertreter von H._ als unentgeltlicher Rechtsbeistand mit Fr. 1075.- entschädigt wurde (Dispositiv-Ziffer 3). C. H._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, in Aufhebung von Dispositiv-Ziffer 3 des angefochtenen Entscheides sei die Vorinstanz zu verpflichten, ihm eine Prozessentschädigung zuzusprechen. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung.