Gisle Johannes Rinnan ble født i Levanger, Nord-Trøndelag, som det sjette av åtte barn av Margit og Johannes Rinnan. Hans søsken inkluderte blant andre Henry Rinnan, som senere ble beryktet som leder for den nazistiske gruppen Sonderabteilung Lola, kjent som Rinnanbanden. Gisle jobbet som telegrafist før han ble involvert i sin brors aktiviteter under andre verdenskrig.