I mars 1892 giftet Dybfest seg med en ung enke, Mathea Ella Krogh. Om sommeren samme år kom han i Kristiania-avisenes søkelys etter den yngre vennen Vilhelm Solheims selvmord på Hovedøya. Dybfest hadde fulgt Solheim til bryggene før han ble rodd over til Hovedøya, og ble derfor beskyldt for å ha hjulpet Solheim i planleggingen av selvmordet. Saken ble også undersøkt av politiet, som forberedte en tiltale mot Dybfest. På dette tidspunktet reiste Dybfest til Bergen for å bo hos noen venner.