Palmer var sjukhusläkare innan han valde att bli en professionell racerförare på heltid. Han började tävla i Formel Ford där han lyckades göra sig ett namn. Han gick vidare till formel 3 och vann det brittiska F3-mästerskapet 1982 och sedan den europeiska formel 2-titeln 1983. Palmer fick även debutera i formel 1 i Williams i Europas Grand Prix 1983 på Brands Hatch.