Under 2. verdenskrig var det heller dårlig med organisert idrett. Hjorten på Ilevollen var samlingssted for lagets medlemmer. Både Ørnulf og idrettslaget Vestbyen ble berørt av krigen, i det at mange av medlemmene ble henrettet av okkupasjonsmakten i 1943.