Sachverhalt:
A.
A._ und C._ haben die beiden Kinder D._ (geb. 1999) und D._ (geb. 2005). Nach dem Suizid der Mutter am 25. Januar 2014 wurde der Vater in Untersuchungshaft genommen und die Kinder vorübergehend bei den Grosseltern mütterlicherseits platziert. Am 11. Februar 2014 wurde der Vater aus der Untersuchungshaft entlassen und das Strafverfahren gegen ihn eingestellt.
B.
Am 12. Februar 2014 hörte das Familiengericht Bremgarten (in seiner Funktion als KESB) den Vater, die Grosseltern, Onkel und Tante sowie die beiden Kinder an. Die Grosseltern zeigten sich bereit, die Kinder auch längerfristig zu betreuen und der Vater zeigte sich dankbar für die Unterstützung. Am 20. Februar 2014 fand eine weitere Anhörung statt, bei welcher der Vater ausführte, sich nicht sicher zu sein, ob die Kinder bei der Familie mütterlicherseits gut aufgehoben seien. Er wolle in Zukunft weniger arbeiten, um sich besser um sie kümmern zu können, sei jedoch im Moment noch nicht bereit, diese zu sich zu holen. Am 19. März 2014 fand eine weitere Anhörung des Vaters und der Kinder statt. Diese äusserten, dass sie gerne dauerhaft bei ihren Grosseltern wohnen bleiben würden. Nach verschiedenen gegenseitigen Vorwürfen zwischen den Grosseltern und dem Vater, welche seither anhalten, errichtete das Familiengericht am 5. Mai 2014 eine Beistandschaft gemäss Art. 308 Abs. 1 und 2 ZGB.
C.
Am 14. November 2014 verlangte der Vater, dass die Kinder wieder dauerhaft bei ihm Wohnsitz nehmen.
Am 4. Dezember 2014 reichte der Beistand seinen Zwischenbericht ein und beantragte, dass die Kinder weiterhin bei den Grosseltern zu belassen und im Übrigen eine psychologische Begutachtung zu veranlassen sei. Am 20. Mai 2015 wurden die Kinder angehört. E._ führte aus, gerne bei den Grosseltern zu wohnen und nicht zum Vater zurückzukehren zu wollen, weil er Angst habe, wieder geschlagen zu werden; ausserdem rede der Vater schlecht über die verstorbene Mutter. D._ äusserte ebenfalls Angst, wenn sie wieder zum Vater zurück müsse; er habe mit ihnen geschimpft und sie geschlagen, er sei wegen Kleinigkeiten ausgerastet und man habe ihm nie widersprechen dürfen. Am 20. Mai 2015 reichte die Psychologin von D._ den psychotherapeutischen Verlaufsbericht ein, wonach die Kinder Angst vor ihrem Vater und ihre verstorbene Mutter mehrfach vor dessen Gewaltausbrüchen beschützt hätten; für die Erziehung sei vorwiegend die Mutter zuständig gewesen und bei der Familie mütterlicherseits fühlten sich die Kinder emotional aufgehoben und beschützt. Mit Stellungnahme vom 27. Mai 2015 beantragte der Verfahrensbeistand, dass die Kinder bei ihren Grosseltern platziert blieben; ihr Wunsch, nicht mehr beim Vater leben zu müssen, sei stark gefestigt. Gleichentags verlangte der Vater u.a., den Beistand unverzüglich aus seinem Amt zu entlassen und die Erziehungsfähigkeit der Familie mütterlicherseits abzuklären. An der Gerichtsverhandlung vom 27. Mai 2015 führte der Beistand aus, dass die Kinder gerne bei den Grosseltern leben würden und ein konstruktiver Beziehungsaufbau zum Vater trotz mehrfacher Bemühungen nicht möglich gewesen sei. Der Vater äusserte, dass die Kinder vermutlich von den Grosseltern beeinflusst würden, er sie nie geschlagen habe und sie an ihn zu übergeben seien. Mit Entscheid vom 19. Juni 2015 wies das Familiengericht den Antrag auf sofortige Rückgabe der Kinder ab und regelte das Besuchsrecht. Am 4. November 2015 reichte die Gemeinde den überarbeiteten Sozialbericht und am 21. Januar 2016 reichte pract. med. F._ das gerichtlich in Auftrag gegebenen Gutachten ein. Am 2. März 2016 wurde der Antrag des Vaters auf Entlassung des Beistandes abgewiesen.
Mit Entscheid vom 29. Juli 2016 entzog das Familiengericht Bremgarten dem Vater gestützt auf Art. 310 Abs. 1 und 3 ZGB das Aufenthaltsbestimmungsrecht und ordnete die Fortführung der Unterbringung der Kinder bei den Grosseltern an. Ferner bezeichnete es den Aufgabenbereich des Beistandes neu.
Mit Entscheid vom 28. Januar 2017 wies das Obergericht des Kantons Aargau die hiergegen erhobene Beschwerde ab, soweit es darauf eintrat.
D.
Am 31. März 2017 hat der Vater gegen den obergerichtlichen Entscheid eine Beschwerde eingereicht mit den Begehren um dessen Aufhebung, um Übertragung des Verfahrens an ein unbelastetes Familiengericht und um sofortige Rückplatzierung der Kinder zu ihm. Ferner beantragt er, das von pract. med. F._ verfasste Gutachten sei aus den Akten zu weisen und es sei ihm eine angemessene Genugtuung auszurichten. Es wurden keine Vernehmlassungen eingeholt, aber die kantonalen Akten beigezogen.
Betreffend Rechtsverzögerung wurde gegen den obergerichtlichen Entscheid vom 19. Dezember 2016 die Beschwerde 5A_125/2017 und betreffend Aufsichtsanzeige gegen den obergerichtlichen Entscheid vom 23. Januar 2017 die Beschwerde 5A_128/2017 eingereicht. Diese wurden gestützt auf entsprechende Rückzugserklärungen mit Verfügung vom 17. Mai 2017 als erledigt abgeschrieben.

Erwägungen:
1.
Angefochten ist der kantonal letztinstanzliche Entscheid betreffend Entzug des Aufenthaltsbestimmungsrechts im Rahmen einer Kindesschutzmassnahme; die Beschwerde in Zivilsachen steht offen (Art. 72 Abs. 2 lit. b Ziff. 6, Art. 75 Abs. 1 und Art. 90 BGG). Die Tochter D._ wurde 2017 volljährig und in Bezug auf sie ist die Beschwerde somit gegenstandslos geworden. In Bezug auf den Sohn E._ ist sie nachfolgend zu prüfen.
In rechtlicher Hinsicht sind alle Vorbringen im Sinn von Art. 95 f. BGG möglich und diese werden vom Bundesgericht mit freier Kognition geprüft (<ref-law>). Dazu gehören insbesondere die rechtlichen Voraussetzungen des Entzuges des Aufenthaltsbestimmungsrechts und die Frage der Notwendigkeit der Drittplatzierung bzw. von der Fortführung der Platzierung.
Bei der Beantwortung dieser Fragen ist das Bundesgericht an die im angefochtenen Entscheid festgestellte Tatsachenbasis gebunden (<ref-law>). Beschwerdeweise kann einzig eine offensichtlich unrichtige, d.h. willkürliche Sachverhaltsfeststellung gerügt werden, wobei hierfür das strenge Rügeprinzip gilt (Art. 97 Abs. 1 und Art. 106 Abs. 2 BGG). Das Bundesgericht prüft in diesem Fall nur klar und detailliert erhobene und, soweit möglich, belegte Rügen, während es auf ungenügend substanziierte Rügen und rein appellatorische Kritik am Sachverhalt nicht eintritt; ausserdem ist aufzuzeigen, inwiefern die Behebung der aufgezeigten Mängel für den Ausgang des Verfahrens entscheidend sein kann (<ref-ruling> E. 2.3 S. 266).
2.
Das Obergericht hat im angefochtenen Entscheid die rechtlichen Voraussetzungen für den Entzug des Aufenthaltsbestimmungsrechtes ausführlich dargelegt, insbesondere auch die Kriterien der Verhältnismässigkeit und Subsidiarität, und ist aufgrund der von ihm getroffenen Sachverhaltsfeststellungen (insbesondere den von den Kindern übereinstimmend geschilderten und auch im Gutachten ausführlich dargestellten Gewalterfahrungen sowie dem Vertrauensverlust nach dem Tod der Mutter und der geäusserten Ängste und Ablehnung des Vaters, wobei das Gutachten von einer Traumatisierung der Kinder und einem ausgeprägten Bedürfnis nach Stabilität und Halt spricht und festhält, dass die Kinder in der mütterlichen Familie einen verlässlichen und emotional warmen Rückhalt fänden) davon ausgegangen, dass der Gefährdung des Kindeswohles nicht anders begegnet werden kann als durch Fortführung der eingespielten Platzierung der Kinder bei den Grosseltern, welche gut für diese sorgten. Eine erzwungene Rückkehr zum Vater würde bei den Kindern zu einer Dekompensation des psychischen Zustandes und damit zu einer ernsthaften Gefährdung des Kindeswohls führen. Angesichts der väterlichen Kritik am Gutachten hat sich das Obergericht im Übrigen auch zu dessen Erstellung (sechs Gespräche mit D._ und acht Gespräche und Tests mit E._ sowie zahlreiche Gespräche mit den Grosseltern und weiteren Familienangehörigen; Einholung von Arztberichten) geäussert und dieses als fachkundig und sorgfältig erstellt betrachtet, so dass keine Veranlassung bestehe, von der darin abgegebenen Empfehlung auf Fortführung der Platzierung bei den Grosseltern abzuweichen.
3.
Soweit der Beschwerdeführer - im Übrigen ausschliesslich in appellatorischer Weise, obwohl der Sachverhalt betroffen ist - sein eigenes Leben (S. 19 f.) sowie die Umstände des Suizides seiner Frau (insb. S. 3 ff.) aus eigener Sicht schildert und er sodann wiederholt behauptet, anfänglich seien die Kinder nicht gegen ihn gewesen, sondern die Entwicklung habe sich erst im Lauf des Verfahrens ergeben (insb. S. 23 ff.), kann er - selbst soweit die Aussagen zutreffen würden - daraus nichts für die vorliegend zu entscheidende Frage der (Rück-) Platzierung von E._ ableiten, ist doch hierfür auf die heutigen objektiven Umstände abzustellen. Etwas anderes lässt das allein entscheidende Kindeswohl nicht zu (vgl. <ref-ruling> E. 2.7 S. 515; Urteile 5A_105/2016 vom 7. Juni 2016 E. 3.2 und 3.4) und insbesondere ist nicht massgeblich, ob und inwieweit Elternteile oder die weitere Umgebung ein Verschulden an der Gefährdung trifft, welche eine Drittplatzierung oder deren Fortführung erforderlich macht (vgl. Urteil 5A_724/2015 vom 2. Juni 2016 E. 6.3, nicht publ. in <ref-ruling>). Die Kritik, das Obergericht habe in willkürlicher Weise sein angebliches Verhalten gegenüber den Kindern als ausschlaggebend betrachtet (S. 33), geht deshalb ebenso an der Sache vorbei wie die massive Kritik an den Grosseltern mütterlicherseits (verstreut über die ganze Beschwerdeschrift, insb. vorgetragen aber auf S. 4 ff. und 36 ff.).
Was die Behauptung der angeblichen Beeinflussung oder gar Instrumentalisierung der Kinder durch die Grosseltern (einschliesslich an deren Adresse gerichtete diesbezügliche Vorwürfe) sowie das Vorbringen angeht, die Kinder hätten frei erfunden, häufig und massiv körperlich gezüchtigt worden zu sein, was via ihre Aussagen ungefiltert Eingang ins Gutachten gefunden habe, bleibt es bei rein appellatorischen Vorbringen, obwohl es hierbei um den Sachverhalt geht.
Gleiches gilt für die Behauptung, alle involvierten Fachstellen würden es beim Status quo belassen, was sich rächen werde, weil es später zu einer Dekompensation bei den Kindern kommen werde, welche bei einer Fortführung der Platzierung nebst ihm selbst die grossen Verlierer seien.
Soweit die Verhaltens- und Arbeitsweise des Beistandes und des Bezirksgerichtes kritisiert werden, welche es kaum für nötig befunden hätten, auf die unhaltbaren Zustände einzugehen, und welche sich viel zu sehr vom angeblichen Kindeswillen hätten leiten lassen, steht anderes als das obergerichtliche Urteil zur Diskussion, welches allein das Anfechtungsobjekt bildet (vgl. <ref-law>). Der Beschwerdeführer müsste aufzeigen, inwiefern er die betreffenden Rügen prozesskonform im obergerichtlichen Verfahren eingebracht und das Obergericht bei deren Beurteilung Recht verletzt hätte.
Vor diesem Hintergrund stösst ferner die Hoffnung ins Leere, dass das Bundesgericht für die notwendigen Klarstellungen in den KESB-Verfahren sorge und die diesbezüglich aufgeworfenen Fragen beantworte (ob die KESB als Fachbehörde einfach so ein Gutachten in Auftrag geben dürfe, etc.).
Gleiches gilt für sämtliche Vorbringen, mit welchen direkt das Gutachten kritisiert wird (insb. S. 23 ff.). Der Beschwerdeführer zeigt nicht im Einzelnen auf, wo und inwiefern er die betreffende Kritik im obergerichtlichen Verfahren prozesskonform vorgebracht, diese aber nicht beachtet oder in willkürlicher Weise beurteilt worden wäre. Soweit dies schliesslich am Rand doch noch erfolgt (S. 33), bleibt es beim allgemeinen Vorwurf, das Obergericht sei darauf zu wenig eingegangen, ohne dass dieser Vorwurf weiter substanziiert würde.
Soweit der Beschwerdeführer dem Obergericht vorwirft, sich nicht mit der überlangen Dauer des KESB-Verfahrens auseinandergesetzt, sondern sich in einem separaten Verfahren einfach auf die formellen Aspekte beschränkt und behauptet zu haben, es seien zahlreiche Entscheide, Beschlüsse und Abklärungen vorgenommen worden (im Einzelnen deutlich mehr als in Lit. C zusammengefasst wiedergegeben), so betrifft die Kritik - insbesondere die Kritik, das Familiengericht habe zu lange mit verfahrensleitenden Verfügungen operiert statt endlich zu entscheiden - in erster Linie den Entscheid vom 19. Dezember 2016, welcher Anfechtungsobjekt der zurückgezogenen Beschwerde 5A_125/2017 bildete. Immerhin hat sich das Obergericht aber auch im vorliegenden Entscheid kurz dahingehend geäussert, dass der Vater nunmehr die Vorgehensweise des Familiengerichts insgesamt kritisiere, nachdem dessen Entscheid nicht zu seinen Gunsten ausgefallen sei. Seine Kritik bleibe aber pauschal und er setze sich nicht mit den einzelnen Verfahrensschritten des Familiengerichts auseinander. Inwiefern in dieser Erwägung willkürliche Sachverhaltsfeststellungen oder eine Rechtsverletzung begründet sein könnte, tut der Beschwerdeführer mit seinen auch im bundesgerichtlichen Verfahren pauschal bleibenden Ausführungen nicht ansatzweise dar.
Die auf S. 29 der Beschwerde eingestreute allgemeine Gehörsrüge, man sei auf seine Einwände nicht eingegangen (es scheint um seine Bestreitung der Gewaltausübung zu gehen), bleibt unsubstanziiert. Es wäre im Einzelnen aufzuzeigen, mit welchen Vorbringen der Beschwerdeführer und inwiefern er mit diesen nicht gehört worden sein soll. Die Bestreitung des Gewaltvorwurfes ist im angefochtenen Entscheid jedenfalls erwähnt (vgl. S. 14 unten). Dass der Bestreitung indes kein Glauben geschenkt wurde und der Entscheid nicht zugunsten des Beschwerdeführers ausging, bedeutet keine Gehörsverletzung.
Aufgrund der fehlenden Letztinstanzlichkeit (vgl. <ref-law>) nicht einzutreten ist auf die Beschwerde ferner, soweit direkt und in umfassender Weise die Erwägungen des familiengerichtlichen Entscheides zum Beschwerdethema gemacht werden (S. 30 ff.).
Im Zusammenhang mit dem Vorbringen, er habe sich mit dem Beistand überworfen, weshalb der neu verfügte Auftrag an den Beistand nicht rechtens sei (S. 34), bleibt der Beschwerdeführer im Allgemeinen. Es ist nicht dargetan, dass und inwiefern das Kindeswohl eine Absetzung oder Neubesetzung erfordern und das Obergericht in diesem Zusammenhang Recht verletzt haben soll.
Für weitere angeblich missachtete Verfahrensvorschriften wird auf die kantonalen Eingaben verwiesen (S. 34), was ungenügend ist; die Begründung hat in der Beschwerdeschrift selbst zu erfolgen (<ref-law>; <ref-ruling> E. 3.1 S. 400; <ref-ruling> E. 2 S. 116). Wiederum am Erfordernis der Letztinstanzlichkeit scheitert, soweit sich die Vorwürfe direkt auf den erstinstanzlichen Entscheid beziehen.
Weder Willkür noch eine Gehörsverletzung ist ersichtlich, wenn das Obergericht im Zusammenhang mit der Kritik am Beistand auf <ref-law> verwiesen hat. Nicht zu hören sind deshalb auch die weiteren direkten Ausführungen zum angeblichen Fehlverhalten des Beistandes (S. 38 ff.).
4.
In rechtlicher Hinsicht beschränkt sich der Beschwerdeführer auf das lapidare Vorbringen, <ref-law> sei einfach unbeachtet geblieben. Diese Norm betrifft indes die elterliche Sorge, welche unbestrittenermassen dem Vater zusteht und deren Entzug nie zur Diskussion stand.
5.
Das Genugtuungsbegehren bleibt unsubstanziiert und unbegründet; abgesehen davon wird auch nicht aufgezeigt, dass es bereits im kantonalen Verfahren vorgebracht worden wäre, so dass es sich um ein neues und damit unzulässiges Begehren zu handeln scheint (<ref-law>). Darauf ist nicht einzutreten.
Gleiches gilt für das Begehren, das Verfahren sei an ein anderes Familiengericht zu überweisen. Dieses bildete im Übrigen Gegenstand der Aufsichtsbeschwerde, welche das Obergericht mit Entscheid vom 23. Januar 2017 beurteilt hat. Die hiergegen eingereichte Beschwerde wurde zurückgezogen (vgl. Lit. D).
6.
Zusammenfassend ergibt sich, dass die Beschwerde abzuweisen ist, soweit auf sie eingetreten werden kann. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit auf sie einzutreten und soweit sie nicht gegenstandslos ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Familiengericht Bremgarten und dem Obergericht des Kantons Aargau, Kammer für Kindes- und Erwachsenenschutz, schriftlich mitgeteilt.
Lausanne, 28. Juli 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Möckli