Han ble utnevnt til viseguvernør på Tasmania (Van Diemen's Land) i 1836, som da var en straffekoloni. Dette ble ikke noen lykkelig periode for Franklin, hans liberale og vennlige vesen passet ikke til innbyggerne. I tillegg ble den aktive og intelligente Lady Franklin (hun prøvde bl.a. å starte et universitet) upopulær blant de relativt snevre fruene i kolonien. Noe som forverret situasjonen ytterligere var at han kom i krangel med sekretæren sin, John Montagu. Montagu sto på god fot med kolonistene, men hadde en tvilsom personlighet. Det endte med at Franklin sparket Montagu og sendte ham hjem, men da Montagu kom til London fikk han overtalt Edward Smith-Stanley (som var koloniminister) at Franklin var udugelig. Stanley ga Franklin sparken som guvernør på en svært ufin måte, Franklin leste om avskjeden i avisen lenge før den kom på offisiell vei.