早退した後の連絡・報告は、当日の連絡はよほどのことがない限り必要ありません。急病や家族の不幸などの場合は必要なことがありますが、それ以外であれば必要ないでしょう。
連絡や報告は基本的に次の日に行ってください。上司からも次の日、「昨日どうだった？」と聞かれるはずですので、回答を準備しておきましょう。