Rymill forberedte seg for polarekspedisjoner og alpine forhold i Europa, og tok flygerutdannelse ved de Havilland Aircraft Co. Ltd i Hendon. Han tok flere kurs ved Scott Polar Research Institute i Cambridge, under professor Frank Debenham. I 1931 deltok han i British Arctic Air Route Expedition til Grønland (1930–31) som landmåler og pilot. Rymill var oppsatt på å utruste en antarktisk ekspedisjon til sørlige Graham Land og Weddellhavet sør for Kapp Horn i Sør-Amerika. Etter problemer med å finne sponsorer, kjøpte han til slutt et gammelt skoleskip, en seilskute som han døpte «Penola». Han fikk med frivillige fra Cambridge University og ni besetningsmedlemmer som han fikk fra Royal Navy. De seilte til det sørlige Atlanterhavet hvor han opprettet sin første base i Sør-Georgia og på Sør-Sandwichøyene, hans British Graham Land Expedition (1934–37). Han oppdaget en sørlig permanent frosset kanal som han senere kalte George VI Sound. Den strakk seg til Bellingshausenhavet.