Etter examen artium i 1917 ble Graff opptatt på Krigsskolen, og i 1920 ble han premierløytnant i Feltartilleriet. Etter eksamen ved Den Militære Høgskole i 1924 gikk han inn som kaptein ved Hærens treningskompani. I 1930 søkte han stilling som vernepliktig offiser, og i 1931 ble han utnevnt som generalsekretær i Norges Forsvarsforening. Denne stillingen hadde han fram til foreningen måtte legges ned etter okkupasjonen i 1940.