Rostgaard ble foreldreløs som fjortenåring, men arvet en stor formue og hadde råd til utdannelse. Han studerte på universitetet i København, og dro så på en niårig språkreise i Europa, der han studerte blant annet arabisk, tysk, engelsk og gresk.