Имхо, это у вас что-то иррациональное. Головой понимаете, что ревновать к прошлому глупо, но ничего с собой поделать не можете. Такое бывает. Надо повышать уверенность в себе. Не знаю, может быть, с помощью психолога. У меня подобное было только на заре семейной жизни, с возрастом прошло без следа.