Мы не знаем, в какие условия он ушел. Ясно одно - из дома его выгнали. Что денег не давал - верится с трудом. За три года, что он "денег не давал" тетка с детьми уже сто раз могла с голоду сдохнуть. Сама понимаешь, опросами по выходным. или чем там она занималась, не заработаешь. Разве что себе на шпильки. Соответственно забирать ему детей могло быть просто некуда, если, скажем, он первое время по друзьям скитался. Судя по теткиным возмущениям, потом, видимо, нашел другую женщину, у которой осел, но которой, сама понимаешь, вот так сразу двоих не приведешь.