Sachverhalt: A. A.a. Der 1960 geborene A._, portugiesischer Staatsangehöriger, arbeitete zuletzt von April 1989 bis Mai 2002 bei der B._ AG als Schweisser. Im Jahre 1987 erlitt er einen Fahrzeugunfall. Am 21. Dezember 2000 zog er sich bei einem Motorradunfall Verletzungen an Schulter und Oberarm zu. Im August 2002 meldete sich A._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau holte den Bericht des Dr. med. C._, Facharzt FMH für physikalische Medizin, vom 29. August 2002 ein. Dieser diagnostizierte ein chronisches zervikospondylogenes Syndrom nach Schleudertrauma der Halswirbelsäule, eine chronische Bursitis subacromialis und eine chronische Epicondylopathia humeri radialis. Frau Dr. med. D._, Fachärztin FMH für Psychiatrie und Psychotherapie, diagnostizierte am 19. September 2003 eine rezidivierende depressive Störung, gegenwärtig mittelgradiger Episode mit somatischem Syndrom. Mit Verfügung vom 22. Dezember 2003 sprach die IV-Stelle dem Versicherten mit Wirkung ab August 2002 bei einem Invaliditätsgrad von 100 Prozent eine ganze Invalidenrente zu. A.b. Die IV-Stelle für Versicherte im Ausland (nachfolgend; IVSTA), an welche die Akten wegen der Rückkehr des Versicherten nach Portugal überwiesen wurden, leitete im Februar 2005 ein Revisionsverfahren ein. Gemäss Mitteilung vom 9. Dezember 2005 bestätigte sie einen unveränderten Rentenanspruch. A.c. Die IVSTA leitete im November 2009 ein weiteres Revisionsverfahren ein. In diesem Zusammenhang zog sie ärztliche Berichte aus Portugal bei. Zudem gab sie das polydisziplinäre Gutachten der Academy of Swiss Insurance Medicine (asim) am Universitätsspital Basel vom 15. Dezember 2011 in Auftrag (Dr. med. E._, Facharzt Arbeitsmedizin und Allgemeinmedizin, Dr. med. F._, Facharzt Psychiatrie und Psychotherapie, Dr. med. G._, Facharzt Innere Medizin und Rheumatologie, med. pract. H._, Assistenzarzt Neurologie und Dr. med. I._, Fachärztin Neurologie). Mit Vorbescheid vom 10. Februar 2012 teilte sie A._ ihre Absicht mit, die bisherigen Rentenleistungen einzustellen. Der Versicherte erhob verschiedene Einwände und reichte die Stellungnahme zum asim-Gutachten von Dr. med. K._, Fachärztin Psychiatrie und Psychotherapie, vom 2. August 2012 ein. Die IVSTA holte dazu die Stellungnahmen der asim-Gutachter vom 18. Februar und 20. Juni 2013 ein. Mit Verfügung vom 4. September 2013 hob die IVSTA die Rente auf Ende Oktober 2013 auf und entzog einer allfälligen Beschwerde die aufschiebende Wirkung. B. Die von A._ hiegegen erhobene Beschwerde wies das Bundesverwaltungsgericht mit Entscheid vom 21. März 2016 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung des vorinstanzlichen Entscheids sei ihm die bisherige Rente auch ab 1. November 2013 weiterhin auszurichten. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz oder an die Verwaltung zurückzuweisen, unter Weiterausrichtung der Rentenzahlungen. Zudem wird um unentgeltliche Rechtspflege ersucht. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.