Patricia Morison ble født 19. mars 1915 i New York, som datter av den irske innvandrer dramatikeren og skuespilleren William Morison (fra Belfast) med scenenavnnet Norman Rainey og hans britiske hustru Selena (født Fraser) som hadde arbeidet for britisk etterretning under første verdenskrig), og hun vokste opp i New Yorks Lower East Side. Hun studerte ved Art Students League of New York.