Ved begynnelsen av andre verdenskrig var han i overkommandoen i "Kriegsmarine" som stabsdommer. Det var på denne tiden han kom i kontakt med ledende antinazistiske kretser i det konservative miljøet, som han også kunne vinne sin bror og sin fetter greve Peter Yorck von Wartenburg for. Hans leilighet i Tristanstraße i Berlin, hvor også broren Claus tidvis bodde, ble et viktig møtested for personene tilknyttet det senere attentatet og statskuppforsøket den 20. juli 1944.