Nel 1475 il castello affrontò un assedio importante e gli occupanti resistettero ai bernesi partiti per saccheggiare Pontarlier. L'anno seguente, Katherin Bouchet coprì la ritirata di Carlo il Temerario dopo le battaglie di Morat e Grandson. Per questo, dopo la morte del padre Carlo il Temerario, Maria di Borgogna lo nominò signore a vita del castello di Joux. Con il matrimonio di Maria, il sito finì sotto l'autorità dell'imperatore Massimiliano I d'Asburgo. Nel 1481, Filippo di Hochberg, figlio di Rodolfo e Margherita di Vienna, collocò Antonio di Sarron sul luogo. Ne scaturì una serie di cause legali tra i conti e duchi di Borgogna, gli Hochberg, i conti di Neuchâtel e i marchesi (margravi) di Rothelin. Nel 1492 il parlamento di Dole assegnò il castello di Joux a Margherita d'Asburgo, figlia di Massimiliano; nessuno su oppose a tale decisione e come segno di pacificazione pose il marchese de Rothelin (la figlia di Filippo, Giovanna di Hochberg, ricevette solo Neuchâtel). Tuttavia, la storiografia ha dimostrato fino al 1815 che gli abitanti di Neuchâtel rivendicavano ancora Joux compie proprio feudo. Francesco I in persona dovette arbitrare un conflitto nato nel 1529 sul possesso della fortezza, ma sarà solo Talleyrand a cessare definitivamente la questione nel corso del Congresso di Vienna.