Til tross for eventyrlig framgang levde Sergel langt ifra noe avbalansert liv : han var kjent som melankolsk og tidvis ville han ta sitt eget liv. Mye ble bedre etter 1783, året då han traff Anna Rella Hellström. Ho ble elskarinna hans og kjærlighetsmøtene deres skildret Sergel i en serie humoristiske og erotiske tegninger. Etter ei reise med kong Gustav III flyttet Sergel og Anna Rella sammen i et hus sør for plassen hvor man i dag finner Hötorget. Anna Rella Hellström og Johan Tobias Sergel fikk fire barn, men bare to av de overlevde. Tiden sammen ble heller kort, Hellström døde i 1796. Sergel levde ugift de siste atten årene av sitt liv.