В нашей семье было принято минимум раз в год ходить. Как правило весной ходили листья убрать, памятник протереть.  Я стараюсь также делать. Меня водили с детства, и я сына начала лет с 4 брать с собой, он нормально всё это воспринимает.   Ваш муж пусть считает что угодно, ходите без него.