Charles Ulm war der dritte Sohn des Franzosen Emile Gustave Ulm, eines Künstler, und dessen Frau Ada Emma, geborene Greenland. Charles Ulm ging in Melbourne und Sydney zur Schule. Nach seinem Schulabschluss arbeitete er als Angestellter in einem Börsenbüro. Im Ersten Weltkrieg diente er ab dem 16. September 1914 unter falschem Namen in der Australian Imperial Force. Im Jahr 1915 nahm er an der Schlacht von Gallipoli teil. Dabei erlitt Ulm eine Verwundung durch einen Granatsplitter im Mundbereich, die zu seiner Entlassung aus der Armee führte. Im Januar 1917 trat er unter seinem Namen wieder in die australische Armee ein und diente in einer Infanterieeinheit an der Westfront. Er wurde am Knie durch einen Granatsplitter schwer verwundet und anschließend nach Großbritannien transportiert. Im März 1919 erfolgte seine Entlassung aus dem Militär. Am 20. November 1919 heiratete er Isabel Amy Winter, mit der er nach Western Australia ging. Er wurde geschieden und heiratete Mary Josephine Callaghan am 29. Juni 1927 in Sydney.