Речь же не о том, что вы звоните после конкретной договоренности, какие с этим должны быть проблемы? А о том, что  когда-то врач дал вам свой телефон, и вы, вместо того, чтобы придти к нему на прием с возникшими спутся какое-то время вопросами, пытаететсь их решить в личном порядке. Даже если он сказал буквально "обращайтесь лично в любое время дня и ночи", делать это неприлично