后国饱海郡松岭（现・山形县酒田市）出生。川上家族为庄内藩的下级武士，支持旧幕府势力，在明治新政府军击败旧幕府势力后，庄内藩藩主被政府处分，川上家族受此影响，全家移居「新天地」北海道寻求机会。川上的哥哥从军。1891年（明治24年），川上泷弥先进入札幌农学校（今北海道大学）预科就学，后来正式进入札幌农学校就读。札幌农学校和台湾的关系非常密切，不少毕业生都曾在台湾服务。在学时，川上经常在北海道各地进行採集制作标本。作为明治维新后接受西式教育的新一代知识分子，他受到札幌农学校老师宫部金吾、新渡户稻造等的照顾。