ИМХО, измена там была, с маминой стороны. Отец ваш молчалив, вот он молча и вычеркнул вас обеих из жизни. Женился быстро, потому что мужик хороший, судя по вашему рассказу. Такие долго одни не будут.  В отношении вас конечно поступил жёстко. Но и вам уже было ха 20, почему не искали отца столько лет? Неужели пофиг было что с ним?