Т.е. от Вас ничего не зависит? "...жду чего он там себе надумает..." Берите ситуацию в свои руки. Это Ваша жизнь и она не должна зависеть от того, что кто-то там решит. Пусть этот Мыслитель о своей семье лучше подумает. Вы ориентированы на несерьезные отношения ("...я серьезных отношений не хочу пока..."  ). При этом сами уже осознаете начинающуюся зависимость от этого "А", и те обстоятельства, что он женат, с детьми и + еще Ваш сотрудник только утежеляют "анамнез". Эти отношения легкими не назовешь. По-моему, уже все серьезно. И лучше не усложнять ситуацию.