Sachverhalt: Sachverhalt: A. Der 1948 geborene S._ war seit 1968 als Maurer bei der Firma T._ AG tätig. Ab 1. Januar 1999 bezog er Taggelder der Arbeitslosenversicherung. Mit Verfügung vom 21. September 2001 sprach ihm die Invalidenversicherung wegen langandauernder Krankheit rückwirkend ab 1. August 1997 eine halbe Härtefallrente bei einem Invaliditätsgrad von 43 % zu. Am 29. Januar 2002 meldete er sich zum Bezug von Ergänzungsleistungen an. Die Sozialversicherungsanstalt des Kantons St. Gallen führte erwerbliche Abklärungen durch und zog medizinische Akten der Invalidenversicherung bei. Sie ermittelte die anrechenbaren Einnahmen, bei welchen ein hypothetisches Erwerbseinkommen berücksichtigt wurde, und die anerkannten Ausgaben. Am 28. August 2003 sprach sie S._ für die Monate März und April 2001 Ergänzungsleistungen zu, während sie für die Folgezeit einen Anspruch verneinte, da ein Einnahmenüberschuss bestehe. Mit Einspracheentscheid vom 23. Oktober 2003 hielt sie daran fest. A. Der 1948 geborene S._ war seit 1968 als Maurer bei der Firma T._ AG tätig. Ab 1. Januar 1999 bezog er Taggelder der Arbeitslosenversicherung. Mit Verfügung vom 21. September 2001 sprach ihm die Invalidenversicherung wegen langandauernder Krankheit rückwirkend ab 1. August 1997 eine halbe Härtefallrente bei einem Invaliditätsgrad von 43 % zu. Am 29. Januar 2002 meldete er sich zum Bezug von Ergänzungsleistungen an. Die Sozialversicherungsanstalt des Kantons St. Gallen führte erwerbliche Abklärungen durch und zog medizinische Akten der Invalidenversicherung bei. Sie ermittelte die anrechenbaren Einnahmen, bei welchen ein hypothetisches Erwerbseinkommen berücksichtigt wurde, und die anerkannten Ausgaben. Am 28. August 2003 sprach sie S._ für die Monate März und April 2001 Ergänzungsleistungen zu, während sie für die Folgezeit einen Anspruch verneinte, da ein Einnahmenüberschuss bestehe. Mit Einspracheentscheid vom 23. Oktober 2003 hielt sie daran fest. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen am 11. Mai 2004 ab. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen am 11. Mai 2004 ab. C. S._ lässt Verwaltungsgerichtsbeschwerde führen. Er beantragt die Feststellung seines Anspruchs auf Ergänzungsleistungen ab 1. März 2001 und die Verpflichtung der Sozialversicherungsanstalt, rückwirkend ab 1. März 2001 die Ergänzungsleistungen ohne Einbezug eines hypothetischen Einkommens zu berechnen. Eventuell sei die Sache zurückzuweisen, damit das kantonale Gericht über die Vermittlungsfähigkeit neu entscheide. Die Sozialversicherungsanstalt schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.