家定听顺井伊直弼决定立纪州藩主德川庆福为下任将军后，庆赖随即被任命为新设的，不过并无实权，其兄长松平庆永在明治时期曾指出「这根本是做井伊扫部头的奴隷」（）。文久二年（1862年）五月初九，庆赖被免去将军后见职，然而，杰出的功劳使他昇进正二位；朝廷在岛津久光的压力下任命了一桥庆喜为新的后见职。文久三年（1863年）正月十八，庆赖受处分降为从二位权中纳言，同时隐居，将家督之位传给儿子寿千代。至此一桥派再次抬头，庆赖所属的大多受到不同程度的处罚。庆应四年（1868年），在宽永寺谨慎的他复出，为德川家在江户