Yarborough war unmittelbarer Augenzeuge des Attentates auf Präsident John F. Kennedy. Am 22. November 1963 fuhr er in der Wagenkolonne durch Dallas gemeinsam mit Vizepräsident Lyndon B. Johnson zwei Autos hinter jenem von Kennedy, als die tödlichen Schüsse auf diesen abgegeben wurden.