I 1857 traff han sanglæreren J. G. Towner, som så Bliss' talent og gav ham sangtimer. Bliss traff også William B. Bradbury, som overtalte ham til å bli musikklærer. Han flyttet til Rome i Pennsylvania for å jobbe, og der traff han også sin tilkommende kone Lucy J. Young. Hun kom fra en musikalsk familie, og oppmuntret ham til å fortsette med musikk. Da de giftet seg i 1859, gikk han inn i den presbyterianske kirke, der hun var medlem.