Ohly blei født i Spånga i Stockholms len som sønn av en prest. Som ungdom blei han radikalisert av internasjonale spørsmål som Vietnamkrigen, apartheid i Sør-Afrika, Palestina og Latin-Amerika. I 1978 gikk han med i Kommunistisk Ungdom og året etter i Vänsterpartiet Kommunisterna.