Conrad Primmer wraz z bratem Jackiem wychowywali się w sierocińcach i rodzinach zastępczych, ponieważ matka nie mogła zapewnić im utrzymania. Po ukończeniu "Brisbane Grammar School" na początku października 1941 roku wstąpił do Royal Australian Navy. Jego brat, Jack, służył wówczas na HMAS Sydney i niedługo później wraz z całą załogą zginął podczas bitwy z HSK Kormoran. Został zdemobilizowany w lipcu 1946 roku i po uzupełnieniu edukacji skorzystał z oferty dla byłych wojskowych i podjął studia na University of Queensland.