Надо было обозвать мужа пионером .. Если он выбрал Вас, он в курсе, что Вы старше, значит это для него не важно, а может быть даже ценно. Наверняка это не единственная неловкая шутка?  Может быть просто у Вас разное чувство юмора? Если так, то надо проще относиться к отдельно брошенным фразам.