У всего в этой жизни есть свои собственные причины и истоки. Вы почему то не хотите ими задаваться, хотя именно полное понимание ситуации поможет с ней справиться. С одной стороны вы полностью осознаете странность ситуации, а с другой отрицаете саму возможность допустить, что здесь что-то нечисто изначально. Этот ребенок как вы понимаете имеет свою мать и не может существовать без нее неотрывно. Т. е. вроде как понятно, что отношения у вашего БМ не исключительно с ребенком, а со всей той семьей в принципе в силу его исключительно нежного возраста, т. е. и с матерью в том числе. И хоть этого на первый взгляд вам не заметно, но как вы понимаете не может чужой мужик подойти к чужому ребенку и априори оказывать ему достаточно личные знаки внимания, а мать этому умилялась на расстоянии. Это при том, что это вы своего БМ  знаете хорошо и что он типа порядочный и все прочее . А для той женщины это по идее совершенно чужой мужик с неизвестными ей помыслами. И отпускать свою дочь с ней /а педофилов как раз именно этот возраст шибко привлекает/, позволять привязаться ребенку к чужому дяде ни одна нормальная мать не будет. Это еще при том, что ей это надо как то объяснять всем окружающим и ребенку в том числе.Отсюда вывод, что не такой уж он ей чужой мужик. А то, что вы этого в упор не хотите видеть, - только это подтверждает. Не зря "жена обо всем всегда узнает последней". Ну вот, а уж насколько ваш муж не чужой этой соседке и ее ребенку - это вопрос. Может она его первая любовь. Может они уже давно трахаются, а может это и его ребенок. Со стороны не видно никаких других вариантов, сожалею. И чем дольше вы будете это отрицать, тем хуже и хуже все будет в отношении ваших БМ и сына. Пора открыть глаза на очевидное.