终不敌杰志，只能屈居亚军。到了1956-57年度球季，香港足球总会开始实施联赛升降制，圣约瑟成绩欠佳，在甲组联赛13支球队名列第12，与包尾的海军一同降班，从此未有再重返甲组作赛。1960-61年度，圣约瑟在香港乙组足球联赛11队中名列包尾，降落丙组作赛。1980-81年度球季，在香港丙组(甲)足球联赛名列最后一名，遭到淘汰。其后，圣约瑟重新加入丙组，2002-03年度球季，将会籍借予大埔足球会，以「大埔圣约瑟」名义参赛，并获得丙组联赛总冠军，升上乙组角逐。惟两年后，2004-05年度，在乙