Rymill ble født i Penola i det sørlige Australia som andre sønn av Robert Rymills (7. juli 1869 – 14. mai 1906) og Mary Edith Rymill (født Riddoch). De var eiere av farmen Penola Station. Han ble utdannet ved Melbourne Grammar School hvor han først utviklet sin sans for polarlitteratur og senere i Royal Geographical Society i London, hvor han studerte navigasjon og lærte hvordan en kunne overleve i polarområdene.