Han återvände till Finland 1817 och var under tio års tid verksam som porträttmålare i Åbo. Han fick 1822 i uppdrag att utföra fem läktarmålningar till Kimito kyrka och ett antal altartavlor där troligen endast altartavlan i Kakskerta kyrka har bevarats. Han drabbades hårt vid den stora septemberbranden i Åbo 1827, det mesta han målat förstördes och han hade dessutom fått förskottsbetalning för en stor del av målningarna som var under arbete, bland annat altartavlan till Föglö kyrka på Åland. Branden betydde att Finnberg blev skuldsatt långt upp över öronen och han såg ingen annan utväg än att lämna landet. Han bosatte sig i Stockholm där han försökte bygga upp ett nytt och tryggare liv, men detta lyckades inte och de sista sex levnadsåren frambringade han under stort armod. Av hans grav på Stockholms norra begravningsplats finns inga spår.