Я много  раз сталкивалась с детьми с детдомом в анамнезе  (я педагог) - это ппц, никому не советую, это совсем другие дети, это вложения без отдачи. Если это просто дети жены, которых ваш сын усыновил, то ничего страшного, достаточно просто не общаться, да, думаю, не общаться можно в любом случае.