Han var sønn av presten Vilhelm Fliflet og Charlotte Fliflet f. Lange, og sønnesønn av sorenskriveren Nils Fliflet. Da faren ble utnevnt til residerende kapellan i Sandsvær flyttet familien dit, og Albert Lange Fliflet tok examen artium i Kongsberg i 1926. Deretter studerte han finsk, samisk, tysk, fransk, norsk og fikk en embedseksamen i finsk-ugriske språk i 1938.