I begynnelsen av 2. verdenskrig måtte Castberg uttale seg om de folkerettslige sidene ved flere episoder under Norges nøytralitet. I ettertid mente han at den norske regjeringen i det store og hele hadde opptrådt korrekt i de konfliktene som oppsto omkring nøytraliteteten. Etter Altmark-affæren mente han at det tyske fangeskipet hadde hatt full rett til å passere Norges farvann, men «Altmark» burde etter nøytralitetsreglene ikke ha fått lov til å passere gjennom Bergen krigshavn.