Sachverhalt: A. W._, geboren 1971, war als Dachdecker bei der Firma X._ angestellt und damit bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen die Folgen von Unfällen versichert. Am 4. September 2008 rutschte er beim Heben eines Holzbalkens aus und stürzte auf den Rücken. Aufgrund der persistierenden Rückenbeschwerden wurde der Versicherte in der Folge verschiedentlich medizinisch untersucht und behandelt. Die SUVA übernahm die Taggeld- und Heilungskosten und stellte ihre Leistungen mit Verfügung vom 24. November 2009, bestätigt mit Einspracheentscheid vom 24. März 2010, per 30. November 2009 ein, da spätestens zu diesem Zeitpunkt keine Unfallfolgen mehr vorlagen. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 2. März 2011 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte beantragen, in Aufhebung des kantonalen Gerichtsentscheides sei die Angelegenheit an die SUVA zurückzuweisen. Diese habe die gesetzlichen Leistungen zu erbringen. Sie sei zu verpflichten, eine Begutachtung durchzuführen. Zudem wird um Gewährung der unentgeltlichen Rechtspflege ersucht. Während die SUVA auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Gesundheit auf eine Vernehmlassung.