Мое мнение: не вам с мужем, а им должно было быть "неудобно", если они вломились бы  к вам без стука. А если случайно увидели, как из комнаты вышли- тактичнее было бы сделать вид,что ничего не видели.Они должны понимать, что вы не ждали их возвращения и не ожидали,что посторонние (а в таких случаях все без исключения посторонние,кроме вас двоих) вас увидят в такой ситуации.