Ein weiterer künstlerischer Höhepunkt im Leben des Kultur- und Naturfilmers bedeutete 1962 der Film "Pan". Er gewann bei den Internationalen Filmfestspielen von Cannes 1962 den Prix spécial du Jury - court métrage (ex-aequo) und war für den BAFTA 1963 nominiert. Er fand besondere Aufmerksamkeit in den Vereinigten Staaten und wurde dort 1963 für einen Oscar in der Kategorie Bester Kurzfilm nominiert. Dennoch begann zu diesem Zeitpunkt bereits van der Horsts Niedergang; er konnte keine lohnenswerte Filme mehr drehen, zumal man ihm dafür kaum mehr Geldmittel zur Verfügung stellte. Außerdem begann die nachwachsende Filmemacher-Generation der von van der Horst entscheidend mitgeprägten Tradition einer „niederländischen Dokumentarfilm-Schule“ mehr und mehr kritisch gegenüber zu stehen. Mit seinem Kurzfilm "Toccata", der im Studentenunruhe-Jahr 1968 veröffentlicht wurde und von einem Jungen erzählt, der in einer Amsterdamer Kirche nach seiner Katze sucht, stieß er nur noch auf Unverständnis und Spott. Als symbolhaft muss es geradezu wirken, dass dieser Film, der im Mai 1968 bei den Filmfestspielen in Cannes vorgestellt werden sollte, nicht mehr zur Präsentation kam, da das Festival infolge der Studentenunruhen abgebrochen wurde. Van der Horst, der zuletzt unter gesundheitlichen Problemen litt, konnte nie mehr wieder einen Film auf die Beine stellen. Sein letztes, seit vielen Jahren vorbereitetes Projekt mit dem Titel "Musica Humana", das sich ganz dem Zauber der Musik widmen wollte, blieb im Vorbereitungsstadium stecken. Herman van der Horst starb gut eine Woche nach Vollendung seines 65. Geburtstags im Elisabeth Hospital in Haarlem.