В том, что не понимаете, что мужику вы пока нафик не сдались с двумя детьми и с потенциальным желанием обзавестись семьей и совместными детьми. Возможно, пока. Поэтому он осторожно и говорит, что его смушает ваша разница. Не исключено, что он сам себе не отдает отчет, в чем истинная причина.