Rankin studerte ved University of Edinburgh, hvor han senere underviste i litteratur. Han arbeidet videre i offentlig administrasjon, som journalist og som researcher før han ble forfatter på heltid. Ifølge egne og hans forlags opplysninger skal han dessuten også ha hatt en karriere som «drueplukker, svinegjeter, skatteinnkrever, alkoholforsker, hi-fi-journalist og punkmusiker».