Mina tankar sväfvade ofta öfver till grannslottet.