Sachverhalt:
A.
A._, geboren 1968, war ab 13. Januar 1997 bei der C._ AG als Facharbeiter angestellt. Am 8. März 1999 stürzte er von einer Leiter und zog sich Verletzungen zu. Die IV-Stelle des Kantons Aargau sprach ihm am 23. Januar 2004 infolge eines chronischen Schmerzsyndroms ab 1. Februar 2003 eine halbe Invalidenrente zu. Auf das Gesuch um Rentenerhöhung vom 22. April 2004 trat die IV-Stelle nicht ein; dies bestätigte das Versicherungsgericht des Kantons Aargau am 24. Mai 2006. Im Nachgang zu einem erneuten Rentenerhöhungsgesuch liess die IV-Stelle A._ psychiatrisch begutachten und erhöhte ab 1. Mai 2008 auf eine ganze Rente.
Nachdem mehrere Verdachtsmeldungen eingegangen waren, leitete die IV-Stelle von Amtes wegen ein Rentenrevisionsverfahren ein und liess A._ an insgesamt 18 Tagen überwachen. Die IV-Stelle gewährte ihm anschliessend das rechtliche Gehör und holte die Stellungnahme des Regionalen Ärztlichen Dienstes (RAD) sowie ein psychiatrisches Gutachten bei Dr. med. D._, Facharzt für Psychiatrie und Psychotherapie, ein. Gestützt auf diese Unterlagen hob die IV-Stelle die Invalidenrente am 16. März 2015 per Ende April 2015 auf.
B.
Das Versicherungsgericht des Kantons Aargau wies die dagegen erhobene Beschwerde am 29. Oktober 2015 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der kantonale Gerichtsentscheid aufzuheben und die bisherige Rentenzusprechung zu bestätigen. Eventualiter sei die Sache an die Vorinstanz zur Neubeurteilung zurückzuweisen.
Die IV-Stelle beantragt Abweisung der Beschwerde. Die bereits vor Vorinstanz beigeladene B._ Vorsorgestiftung und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.

Erwägungen:
1.
1.1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Gemäss <ref-law> ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-law>). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
1.2. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
1.3. Ob gestützt auf die ärztlichen Feststellungen bei diagnostizierten anhaltenden somatoformen Schmerzstörungen oder vergleichbaren psychosomatischen Leiden und erkannter Aggravation auf einen Ausschlussgrund geschlossen werden kann, stellt eine frei überprüfbare Rechtsfrage dar (SVR 2015 IV Nr. 38 S. 121 E. 4.1, 9C_899/2014).
2.
Streitig ist die Aufhebung der Invalidenrente per 1. Mai 2015.
3.
Die Vorinstanz hat die Bestimmungen und Grundsätze über die Revision einer Invalidenrente (<ref-law>), einschliesslich der massgebenden zeitlichen Vergleichspunkte (<ref-ruling> E. 3 S. 132 mit Hinweis), sowie die Beurteilung der Arbeitsunfähigkeit bei psychisch bedingten Gesundheitsschäden (<ref-ruling>; <ref-ruling> E. 5a S. 299), insbesondere bei anzunehmender Aggravation (<ref-ruling> E. 2.2 S. 287; SVR 2015 IV Nr. 38 S. 121 E. 4, 9C_899/2014), zutreffend dargelegt. Dasselbe gilt für die Aufgabe des Arztes bei der Invaliditätsermittlung (<ref-ruling> E. 3.2 S. 195; <ref-ruling> E. 4 S. 99) und die Anforderungen an einen ärztlichen Bericht (BGE 134 E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
4.
4.1. Die Vorinstanz hat gestützt auf das Gutachten des Dr. med. D._ vom 12. Januar 2015 sowie die Observationsberichte vom 19. Mai 2014 und 3. Dezember 2012 in für das Bundesgericht verbindlicher Weise (E. 1.2) festgestellt, beim Versicherten liege eine Aggravation vor. Ausgehend davon hat sie gefolgert, es bestehe ein Ausschlussgrund, der die Annahme eines invalidenversicherungsrechtlich relevanten Gesundheitsschadens nicht erlaube, sodass auf die Durchführung eines Beweisverfahrens im Sinne der Rechtsprechung von <ref-ruling> verzichtet werden könne; infolge der Aggravation sei von einer Arbeitsunfähigkeit von 0 % auszugehen und die Rentenaufhebung zu bestätigen.
4.2. Was der Versicherte dagegen vorbringt, vermag zu keinem anderen Ergebnis zu führen:
So rügt er eine willkürliche Sachverhaltsfeststellung, weil die Vorinstanz einerseits den Diagnosen des psychiatrischen Gutachters folge, andererseits aber den attestierten Krankheitswert der diagnostizierten Störungen als nicht nachvollziehbar bezeichne. Dazu ist festzuhalten, dass nach der Rechtsprechung der Arzt zwar zuständig für die Beschreibung des Gesundheitszustandes und Stellung der Diagnosen ist, dass aber deren juristische Bewertung und insbesondere die Feststellung der rechtlich noch zumutbaren Arbeitsfähigkeit nicht Aufgabe des Arztes, sondern des Rechtsanwenders ist (<ref-ruling> E. 3.2 S. 195). Dasselbe gilt für die Rüge bezüglich des Krankheitswerts der histrionisch-dissoziativen Störung; auch in dieser Hinsicht ist das Vorgehen und die Einschätzung der Vorinstanz nicht zu beanstanden.
Entgegen der Ansicht des Versicherten reicht der Nachweis von Aggravation, damit der psychischen Störung aus sozialversicherungsrechtlicher Sicht eine leistungseinschränkende Wirkung abgesprochen werden kann; eine Simulation ist nicht verlangt (vgl. <ref-ruling> E. 2.2.1 S. 287). So bejaht Dr. med. D._ denn auch das Vorliegen einer Aggravation, die über die Verdeutlichung von Symptomen hinausgeht.
Weiter beanstandet der Versicherte, aus dem Umstand, dass er mit dem Auto herumgefahren sei, dürfe nichts zu seinen Lasten abgeleitet werden; vielmehr sei ihm von den Ärzten gerade geraten worden, nicht zu Hause herumzusitzen, und das Fahren der Kinder zur Schule sei infolge eines ihn und die Kinder belästigenden Nachbarn notwendig geworden. Zudem sei das Auto auch von seinem Cousin benutzt und oft in der Garage abgestellt worden. Dem Versicherten wird nicht das Autofahren als solches vorgeworfen. Massgeblich ist vielmehr, dass das gezeigte Verhalten (Autofahrten; Einkäufe; soziale Kontakte) auf ein beachtliches Mass an physischen und psychischen Ressourcen sowie an Konzentrationsvermögen schliessen lässt und somit eine erhebliche Diskrepanz zu den gegenüber Dr. med. D._ gemachten Aussagen (vollkommener sozialer Rückzug; Unmöglichkeit des Autofahrens; Vergesslichkeit; Schmerzen in Schultern, Beinen und Kreuzgegend) besteht.
Schliesslich bringt der Versicherte vor, die Vorinstanz verkenne, dass für ihn als gesundheitlich angeschlagene Person der Umgang mit den Behörden äusserst belastend sei und er nachvollziehbar anders gegenüber diesen auftrete als gegenüber Bekannten und Verwandten. Diesen Umstand hat die Vorinstanz in ihrer E. 3.4.6 berücksichtigt und zutreffend konstatiert, dieses Verhalten stelle einen psychosozialen Faktor und damit keinen versicherungsrechtlich relevanten Gesundheitsschaden dar (BGE <ref-ruling> E. 5a S. 299).
4.3. Nach dem Gesagten ist nicht zu beanstanden, dass die Vorinstanz gestützt auf den Ausschlussgrund der Aggravation im Verfügungszeitpunkt von einer vollen zumutbaren Arbeitsfähigkeit ausgegangen ist und die laufende Rente aufgehoben hat.
5.
Das Verfahren ist kostenpflichtig. Der unterliegende Versicherte hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, der B._ Vorsorgestiftung, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Mai 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Riedi Hunold