Ole Krarup var sønn av Per Krarup (1906-1977), fetter til presten og politikeren Søren Krarup, og sønnesønn av historikeren Alfred Krarup (1898-1942). Han ble utdannet cand.jur. fra Københavns Universitet i 1959. Fra 1959 til 1961 var han ansatt i det danske Indenrigsministeriet. I 1969 ble han dr.jur. på avhandlingen .