Etter studier i botanikk og forstvitenskap i blant annet København, München, Rostock, Berlin og Paris fikk han arbeid på Nationalmuseet i København i 1894 der han kom til virke i 17 år, innen han på grunn av uenighet med dets sjef Sophus Müller forlot museet, allikevel med en statspensjon. I disse årene arbeidet han også som arkeolog og ledet blant annet i 1900 utgravningen av Maglemoseboplassen, som kom til å bli svært betydningsfull for nordisk arkeologi. Nesten 50 år gammel forlot Sarauw sitt hjemland for Sverige, der Oscar Almgren i 1912 formidlet jobben Sarauw fikk som sjef for den arkeologiske avdelingen ved Göteborgs museum. Ved Genom Sarauws driftighet vokste samlingene kolossalt og var allerede tiåret etter da Göteborgs jubileumsutstilling i 1923 ble avholdt så stor at han kunne avholde en forhistorisk utstilling av høy klasse, skapt av systematisk godt arkeologisk arbeid. Sarauw var ved siden av sine akademiske kunnskaper også aktiv som feltarkeolog. Han fikk også i stand den første arkeologiske utstillingen i Ostindiska huset i 1924. Mye av det som ble vist hadde blitt brukt på nytt fra jubileumsutstillingen året før.