Inemot klockan fyra återvände vi till slottet.