民雄鬼屋流傳的傳說有3則，其中最廣為流傳的是劉家婢女與洋樓主人有段情，導致女主人妒火中燒，經常趁男主人不在時虐待婢女，最終導致婢女投井自殺（另一版本是女主人教唆其他傭人將婢女丟入井裡溺死）；其他2則傳說分別是二戰時日本士兵看到疑似鬼影互相掃射，以及國民政府撤退回台初期，一名連長看到鬼影開槍誤殺小兵。