Если бы ваш брат был не в здравом уме и твердой памяти, то я бы поняла ваши опасения, а исходя из написанного, он в полном порядке, взрослый дееспособный человек не обязан спрашивать у вас разрешения на отношения с женщинами. Вы пишете, что вам жалко детей, опять же непонятно почему вам их жалко, дети не сироты, у них оба родителя живы, отец обеспечивает их нужды и потребности, так что тоже мимо. По-моему, вы жалеете, что вам не встретился такой человек как ваш брат, которого можно было бы "доить".