Ankarhjelm kastade en trånande afskedsblick upp mot slottet.