Broren Gerry Baker (også han angrepsspiller) signerte for Hibernian kort tid etter at Joe Baker ble solgt til Torino Calcio (Gerry Baker scoret 43 mål på 84 kamper for Hibernian mellom 1961 og 1963, i en ellers omflakkende karriere), og fikk også sju kamper (to mål) for USA, siden han var født i New York (f. 11. april 1938).