Han var sønn av teolog og kartograf Melchior Ramus (1646–1693) og Anna Fyhn. Faren var lektor ved Trondheim katedralskole og laget flere kart over Norge. Etter farens død i 1693 flyttet Joachim først til morens far, Hans Kyhn, som var kommandant på Munkholmen. Der fikk Joachim gå i lære hos den lærde elefantridder Peder Griffenfeld (1639–1699) som satt i arrest.