Krag vokste opp på de steder faren gjorde tjeneste som sogneprest, dvs. i Vågå, Fredrikshald (Halden) og Christiania (Oslo). Krag er sammen med Erik Jørgensen kjent som oppfinnerne av Krag-Jørgensen-geværet som ble approbert som standardvåpen i det norske infanteri i 1894.