545年），娶政职的养女（明石正风的女儿）为妻，被列为家老，并被赐予小寺姓和偏讳（「职」字），改名为小寺职隆（有异説），成为播磨姬路城的城代。建立「百间长屋」，让穷人和下级武士、职人、行商人等人居住等，形成收集情报的地方。永禄7年（1564年），令浦上政宗的儿子清宗与自身的女儿（一说为儿子孝高的女儿（『备前军记』）。另一说为养女）结婚，不过在婚宴中，因为父亲重隆的旧主赤松政秀奇袭，浦上父子被杀死，于是与政秀对立。永禄10年（1567年）期间，把家督让予儿子孝高，隐居在姬路城东南面的国府山城（别名妻鹿城、