Klockan var fyra på morgonen då sir George återvände till sin bostad.