Автор, вы когда замуж за этого человека выходили, долдны были отдавать себе отчет что у человека есть прошлое. И вы должны с уважением к нему относиться. Тем более, вы пишите, что уверены что муж не ностальгирует. Просто отстранитесь, это его отношения с детьми и вы там чужая. Если вас такой расклад нкустраивает, стоило выходить замуж за человека неоьремененного прошлыми отношениями и без детей. И никак прошлое не вторглось, как выпишите, оно было, есть и будет, даже если какое-то время не поддерживалась связь с детьми. Я бы сказала вторглись вы, в понимании детей. Но это жизнь и вам стоит принять все как есть, тем более повода для беспокойства со стороны мужа для вас нет.