Может он тоже не захочет остаться с вашими детьми. Тут согласие нужно, а он его может и не дать, так что не надо здесь стращать детьми. Он вправе также от них отказаться как и вы. В 46 как у автора, уже и дети взрослые должны по идее быть или подходить хотя бы к взрослому возрасту.