昨日お訪ねくださったとき、あいにく留守をしていた。
昨日お訪ねくださった時、残念ながら留守をしていた。