Bayliss ble født i Madeley i Shropshire som andre sønn av Anne Wyke og John Cox Bayliss, en jernbaneingeniør og matematisk tegner. Han fikk en solid, arkitektonisk utdannelse i å tegne under veiledning av sin far. Han studerte senere ved Royal Academy og School of Design ved Somerset House. Hans kunstnerkollega og tidvis også venn, James McNeill Whistler, omtalte ham hånlig som «Bayliss, Michel Angelo fra Middlesex».