Slekten Coward er av engelsk opprinnelse og kom til Norge på slutten av 1700-tallet. Navnet betyr «kuhyrde» og uttales /kåvard/. Gorgus Cowards foreldre var Gorgus Herman Coward (1877–1939) og Olga Jørgensen (1881–1950). I 1936 ble han gift med Hendy Usterud Andersen, søsteren til jusprofessor Kristen Andersen.