父母之命，张伯苓续娶王淑贞，婚后不久即被派赴通济号练习舰服务。1898年，继日本之后，英国强租威海卫，清廷派大员乘通济舰赴山东办理接收及转让手续，张伯苓随该舰前往。该舰到达威海卫的第一天即降下日本国旗，升起大清的黄龙旗。第二天，又降下大清的黄龙旗，升起英国国旗。张伯苓目睹此次“国帜三易”的接收及转让仪式，感觉丧权辱国。自威海卫归来后，张伯苓认为通过参加海军报国无望，乃决定退役。
创办南开中学.张伯苓退役回到天津后，适逢天津绅士严修倡导兴办新学。1898年，严修聘张伯苓主持严氏家塾，