Zwartkruis hadde en relativt beskjeden spillerkarriere for amatørklubben før han begynte å trene forskjellige amatørklubber. Han ble i 1962 trener for det nederlandske militærlandslaget, og var dyktig til å utvikle talenter. Samtidig ble han assistenttrener for Elek Schwartz på landslaget. Hans evne med lovende spillere ga militærlandslaget en rolle som talentfabrikk til landslaget. Dette gjorde at flere tenkte på ham som kandidat til å ta over som hovedtrener for landslaget etter George Knobel. Zwartkruis tok over, men på grunn av problemer med sin arbeidsgiver, det nederlandske forsvarsministeriet, og oppholdet ble dermed kort. Østerrikeren Ernst Happel tok over etter et par kamper, og ledet landslaget i VM i fotball 1978 i Argentina. Zwartkruis var i denne perioden assistenttrener.