А что тут некрасивого-то?  Спонтанные приходы-уходы с прогулками, конечно, неудобны, они держат в постоянном напряжении, и не дают возможности хоть как-то планировать свои дела. Вам вполне может быть неудобно в то время, когда ему заблагорассудится, так что вполне нормально  озвучить время, удобное вам. Он может согласиться, может предложить другое время, компромисс всегда можно найти, было бы желание.