Joe Baker ble født i Liverpool i England, men vokste opp i Wishaw, Lanarkshire, Skottland (sørøst for Glasgow). Joe Baker scoret 159 mål på fire sesonger for Hibernian FC mellom 1957 og 1961. I sin første sesong (1957/1958) scoret han alle de fire målene i et lokaloppgjør i FA-cupen mot Hearts (4-3) og ble dermed raskt en legende i Hibernian-folkloren. I 1961 ble han solgt for £75.000 til den italienske klubben Torino Calcio (han kom dit samtidig med Denis Law, som ble kjøpt fra Manchester City). Baker hadde da tjent £12 i uka for Hibernian og krevde £5 mer i uka, men det ville ikke klubben gi. Dermed ble det salg, som i så mange andre tilfeller også senere fra Hibernians side. I løpet av et ulykkelig år i Torino Calcio dyttet han bl.a. en italiensk fotograf i en av kanalene i Venezia, som den kanskje mest minneverdige episoden. Han debuterte for det engelske A-landslaget 18. november 1959 på Wembley Stadium og scoret ett av målene i 2-1-seieren over Nord-Irland. Egentlig var Baker helt igjennom skotsk, men fødestedet hans var nok for Englands landslagstrener Walter Winterbottom, og senere Alf Ramsay, til å be ham spille for England. På den tiden avgjorde fødestedet hvilket landslag man skulle spille for. I alt fikk han åtte A-landslagskamper og scoret tre mål for England, men ble til manges store forbauselse vraket av Alf Ramsay før VM i 1966.