Han var sønn av sogneprest Reinhold Ipsen og Anna Stöhrde. I 1766–69 var han i Slesvig lærling hos Nikolaus Georg Geve (1712–1789), fra 1770 elev ved Kunstakademiet i København.