Ernst Rüdiger von Starhemberg var sønn av Konrad Balthasar von Starhemberg (1612–1687) og Anna Elisabeth von Zinzendorf († 1659). Maximilian Lorenz von Starhemberg (født ca 1640; død 1689) var hans bror, Gundaker Thomas Starhemberg (1663–1745) hans halvbror.