方家兄弟四人，方伯谦居长，父亲是个私塾教师。1867年，十五岁的方伯谦考取福建船政学堂，从此开始学习海军。1871年毕业后，方伯谦与刘步蟾、林泰曾、林永昇、叶祖珪等人，登建威练习船实习，进行了中国近代海军史上的第一次远航。航行北至北洋的天津，南至南洋的新加坡、槟榔屿等口岸。1877年，清政府派遣第一批留欧学生出国深造海军专业。方伯谦奉派，偕同严宗光（后改名严复）、萨镇冰、叶祖珪、刘步蟾等，前往英国格林威治皇家海军学院深造驾驶专业；先学习理论，后上军舰实习，一年半后毕业。毕业以后，方伯谦先被派到英国犹太拉