Han virket en tid i Tower of London med et provisorisk observatorium i White Tower. En udokumentert men ofte sitert historie forteller at han klaget på ravnene der til Karl II. Kongen skal ha bedt om at de ble jaget vekk, men fikk så høre legenden om at Tower, riket og monarkiet ville falle dersom ravnene forsvant fra Tower. Dette skal ha vært bakgrunnen til at han i juni 1675 fikk en bevilgning til å bygge et nytt observatorium. I august samme år la han grunnsteinen til Royal Greenwich Observatory.