生于福州澳桥，即今福州鼓楼区东大路附近。父萨怡臣，字怀良，号纳吉，是道光年间的秀才，以塾师为业，家贫。幼年时乳母将其安置在族叔名医萨觉民家，得学经书。1869年，由于时主福建船政的沈葆桢与萨觉民友好，经后者推荐，萨镇冰考入福州船政学堂二期，同学中有邓世昌。1872年，从船政学堂毕业，在“扬武”练船实习。 1876年，作为福建船政第一批留学生出国。1877年春，入英国格林威治皇家海军学院，1880年4月期满回国。1881年，萨镇冰分配到南洋水师任“澄庆”炮船大副。1882年调任天津水师