Gilmore studerte ved , før han i 1971 gikk til US Army, hvor han var kontraspionasjeagent i Tyskland i tre år. Deretter studerte han jus ved . Han virket som privatpraktiserende advokat, til han ble offentlig anklager i Henrico County i 1987, og deretter statsadvokat («Attorney General») for Virginia i 1993.