Caine föddes i Southwark och växte upp i Southwark-stadsdelen Camberwell. Hans far arbetade som bärare vid traktens fiskmarknad och hans mor var städerska. Han hoppade av skolan när han var 15 år gammal och hade en massa olika arbeten. Han blev "teaterbiten" när han serverade te på en Londonteater och började spela amatörteater. Efter att ha tjänstgjort i brittiska armén i Korea och Tyskland fick han småroller på landsortsteatrar. Från mitten av 1950-talet fick han mindre filmroller.