Olstad deltok i 1927/28 i den første Norvegia-ekspedisjonen til Bouvetøya og Sør-Georgia. Sesongen etter ledet han den andre Norvegia-ekspedisjonen til Peter I Øy i Amundsenhavet, utenfor Ellsworth Land i Vest-Antarktis. Olstad var den første i verden som satte sine ben på den fjerntliggende øya. Olstad krevde øya for kongeriket Norge.