Nacido en Glasgow, Ramsay se mudó a Australia a los diez años de edad, afincándose con su familia en Melbourne en junio de 1878.