I de følgende årene forsøkte han å tjene til livets opphold ved å gi privatundervisning, skrive fortellinger og komponere musikk. Men dette var ikke nok til å sikre et levebrød. Som konsekvens begynte han med tyverier og svindel. May ble dømt til fire år og én måned på tvangsarbeidsanstalt, og satt inne fra 1865 til 1869. På grunn av god oppførsel i fengslet ble May utnevnt til administrator for fengslets bibliotek og han hadde muligheten til å lese mye, inkludert reiselitteratur. May planla å bli forfatter, og lagde en liste med titlene på de bøkene han planla å skrive. Mellom 1870 og 1874 satt han inne på tukthuset i Waldheim.