Remar ble født i Boston i Massachusetts. Han har tilbrakt mesteparten av sin filmkarriere spille skurker. Han er kjent for sin rolle som den aggressive seksuelt voldelige karakteren Ajax frakultfilmen The Warriors fra 1979, som den morderiske sociopaten Albert Ganz fra filmene 48 Hrs. (begge filmene ble regissert av Walter Hill). Remar er også kjent for å spille den virkelige 1930-talls gangsteren Dutch Schultz i filmen The Cotton Club fra 1984. Han spilte også i filmen Windwalker som den unge Windwalker fra 1980-tallet. I 1996 spilte han en av skurkene i Paramounts storbudsjetts actionfilm The Phantom, med blant andre Catherine Zeta-Jones og Billy Zane.