W 1964 judo po raz pierwszy zostało włączone do programu igrzysk i Japończycy zwyciężali w trzech z czterech rozgrywanych kategorii. W najbardziej prestiżowej, open, triumfował właśnie Holender. Jako jeden z trzech Europejczyków dostąpił zaszczytu nadania stopnia 10 dan. W 1965 w Rio de Janeiro został mistrzem w kategorii +80 kilogramów, a dwa lata później przeszedł na emeryturę.