Т.е. у него во время брака была любовница, но он потом вернулся к Вам?Если это так, то скорее всего его просто всё раздражает потому, что не так, как он бы хотел в идеале. А поэтому агрессия на всех окружающих, злость на весь мир и попытка подмять всех под себя. Он не удовлетворён своей жизнью.