I 1940 var Graff innkalt som vernepliktig kaptein i nøytralitetsvakten. Han var da ved bataljon II av Feltartilleriregiment nr.1/AR1. Ved invasjonen 9. april ble bataljonen satt i krigstilstand. Graff fikk kommandoen for batteri 4, og gikk sammen med resten av bataljonen til Fossumavsnittet. Batteri 4 gikk i stilling ved Hov skole sørvest for Askim sentrum. Herfra ga det ild mot de tyske stillingene vest for Fossum bru, og etter gjennombruddet den 13. april også mot de framrykkende tyske styrkene mellom Fossum og Askim.