Raffles' far var involvert i slavetrafikk og døde da sønnen var 14 år gammel. Han gikk da på skole i London. Den unge Raffles startet da som læregutt i Det britiske ostindiske kompani i London. I 1805 ble han sendt til Penang i Malaysia som saksbehandler hos den britiske guvernøren der.