Хорошо бы мальчик это как-то мог понять. Есть разница - вы от детей не уходили, а уж как вы в семье общаетесь - только ваше дело. А если отец с ребенком не живет, он должен прилагать усилия, чтобы ребенок знал, что отец его любит, хоть и ушел.