1956 hätte Drijver noch einmal an Olympischen Spielen teilnehmen sollen. Aber nach dem Volksaufstand in Ungarn boykottierten die Niederlande die Spiele in Melbourne. Han Drijver starb 1986 an den Folgen eines Autounfalls.