Пригласить в ответ обязательно.  Это будет вежливо и правильно.  Если просто ни с того ни с сего чужой ребенок или несколько напрашиваются,  а мои дети активно поддерживают эту идею - приглашаю. Если мои дети равнодушно реагируют,  то говорю, что нет времени и возможности в данный момент.