当初は遠江堀越郷(現在の静岡県袋井市)に居館があったとされる。