日治时期武德殿（台湾的武德殿）所在，在中华民国接收台湾时，土地由军方接管使用。在军友社成立后，军友社无偿借用了此地，但没有办理法定程序，直到前县长柯文福时，方才签发无偿借用公文。在前县长曹启鸿时代，曾经希望取回此地，但未有结果。2015年6月，屏东县长潘孟安要求军友社在年底前返还土地，并要求清点列为历史建筑的武德殿保存状况。军友社回应，已将此地出租给便利商店及火锅店，租金由军方收取，需要等到民间租约结束之后才能返还土地。