Cartier estuvo casado en tres ocasiones, la última con Margaret Pepper desde 1949 hasta su muerte.