Так и аргументировать - либо оба, либо никто. А сколько сейчас детям? Просто непонятно, вы пишете старшему 2 года было тогда, когда разошлись или сейчас? Если сейчас - то маленький еще, а второй-то еще меньше. Тогда, если не боитесь отпускать с папашей, можно одного отпустить. Если такие встречи продолжатся, сказать, что отпускаете старшего одного пока мал младший, потом будете давать встречаться только с обоими.