Нет, не "какая угодно". Была причина, почему он вспомнил о детях и внес уточнения. Заметьте, что автор с его детьми незнакома и знакомиться не хочет. Возможно, был разговор на тему "вот построим дом, переедем, будем собирать гостей, приглашать детей" и автор ляпнула что-то на тему "детей только без меня". А потом вот этот пассаж на тему "ну ты же помнишь, кто тут главная". Все сразу несколько иначе выглядит, правда?