Wallis ble født i Devonport, Devon. Få detaljer om livet hans er kjent før han slo seg ned i St. Ives, Cornwall, i 1890. Han sluttet som fisker i 1912, og begynte å male etter at kona døde i 1922 «For å holde meg selv med selskap», som han senere fortalte kunstsamleren Jim Ede.