I 1877 flyttet familien fra storbyen til Nexø pga arbeidsledighet. Nexøs far var bornholmer. Barndomshjemmet i Nexø ble fredet i 1983 og er i dag innredet som museum. Han føyde navnet Nexø til etternavnet. En kuriøs forklaring er at han ikke ønsket at bøkene skulle stå øverst til venstre hos bokhandleren (under Andersen).