哈特曼出生于离斯图加特不远符腾堡的魏萨，他的父亲阿尔弗雷德曾经作为军医参加了第一次世界大战。由于战后的通货膨胀，食物短缺外加经济与政治的动荡，他父亲的一位在上海工作的外交官亲戚一度建议他们全家都搬到中国来行医。阿尔弗雷德起初一个人独自来到了湖南省长沙市的湘江旁开办了一家小诊所，作为当地的唯一一位西医，他的生意起初也非常顺利。1925年，在基本安定了下来以后哈特曼随着全家搬到了橘子洲上居住。1929年，“反殖民”和“反洋鬼子”运动相继在中国各地展开，哈特曼家虽然受到了自己的诊所和作为德国人身份（德国当时在中国