Da andre verdenskrig brøt ut høsten 1939 befant han seg i India og reiste til Bergen der han arbeidet som visekonsul. Den norsk historikeren Olav Riste antyder at Chaworth-Musters var på oppdrag som agent i Norge før den tyske okkupasjon. Da Norge ble invadert forsøkte han å ta seg på ski østover. Haga oppgir at han befant seg på Nordmøre under invasjonen i april 1940. Krigshandlingene tvang ham tilbake til kysten, (Nordfjord ifølge Olav Riste) og han overbeviste en fisker om å gå til Shetland med båt (fiskeskipperen var Edvin Nore fra Bryggja ved Måløy og de gikk fra Måløy 10. mai ifølge Ragnar Ulstein). Chaworth-Musters tok med seg to britiske soldater som hadde ligget i skjul i nærheten.