Я бы сказала: "Я не вовремя? Давай зайду минут через 10". Чтобы человек понял всю неловкость ситуации и оделся. Комментировать его вид не считаю нужным, но и дать понять, что ситуация меня напрягает, обязательно надо. Потому что это хамство. Я же не просто зашла, потому что мимо шла, меня пригласили.