Navnet er gitt i nedsettende betydning. Like sørover i retning av Spissøyhavn er det trolig at munkene på Halsnøy kloster hadde «hospits» i gammel tid (som øya har fått navn etter). Her kunne reisende søke havn og husly, få vann og koke mat, mot betaling. Munkene var ikke likegyldige om penger og gods, og det er trodd at de som har gitt Fattigmannhavn navnet sitt, fordi folk tok til havn her og ikke ville betale for tjenestene til munkene.