Да нет, не просто дурак. Старайтесь говорить еще с ним. Возможно, он сам чувствует вину перед Вами, и поэтому раздражается, обвиняет Вас. Он и сам может не понимать этого. Копайте глубже, поговорите искренне, разберитесь в отношениях, не оставляйте на потом.