Вы имеете право на свои чувства, поэтому вам о покойнике можно что угодно, так как это позволит сбросить обиды и жить дальше. Скорее всего,  ваш покойный муж был не великого ума, не слишком уверен в себе и полон комплексов. Типичный портрет ограниченного человека, которому главное чтоб все было "по нормативу". Вполне здоров психически, как раз не склонен к рефлексии и переживаниям о чувствах других (например, о чувствах жены). Если никаких неприглядных поступков не совершал, то не считайте его козлом, считайте просто дурачком. Собственно, вы так и назвали его, и скорее всего инстинктивно попали в точку.