In 1947 werd Van Zijll aangesteld als eerste directeur van het Nederlands Olympisch Comité (NOC). Hij was chef d’équipe van de Nederlandse delegatie op de Olympische Zomerspelen 1948 (Londen), 1952 (Helsinki) en 1956 (Melbourne). Van de laatste trok Nederland zich, na de hippische onderdelen, terug vanwege de Sovjet inval in Hongarije. Van Zijll was betrokken bij de oprichting van vele sportaccommodaties in Nederland, zowel in samenwerking met de Dienst Uitvoering Werken (DUW) als vanuit zijn rol in 1950 bij de oprichting van Technische Raad. Door zijn optreden kreeg NOC meer een rol als koepel voor de gehele sport. Deze rol botste deels met enkel de olympische belangen van NOC. Kritiek vanuit de sporters op de terugtrekking voor de Olympische Zomerspelen 1956, die als eenzijdig vanuit NOC beschouwd werd, en een kritische sportnota in 1958, mede over het functioneren van NOC, leidde tot de oprichting van de Nederlandse Sport Federatie (NSF) als koepelorganisatie voor de breedtesport.