Herberstein nació en 1486 en Vipava (en alemán "Wippach") en el Ducado de Carniola (actualmente en Eslovenia, pero entonces parte del Reino de Habsburgo), hijo de Leonhard von Herberstein y Barbara von Lueg, miembros de una familia germanófona prominente que ya había residido en el Castillo de Herberstein durante casi 200 años.