The Goat er den eldste gjenværende pub på Kensington High Street. Det ble bygget i 1695. Området hadde blitt en vanlig øst-vest rute da Kong William bygget Kensington Palace og the Goat var den første store bygningen på denne nye gjennomfartsåren. Det ble bygget som en kafé, men i 1702 ble den en pub. I 1707 ble den kjøpt av den lokale menigheten for 80 pund av midler fra legater testamentert av to kvinner som hadde satt av midler til utdanning og støtte til de fattige.. Inntekten fra puben ble deretter brukt til å støtte den fattige og en skole i Kensington i 1645. Det ble foretatt omfattende endringer i 1880. Rundt 1896 ble en ny pub tegnet av malerne Beggarstaffs som hadde sitt studio i Kensington på den tiden. Dette fortsatte inn i 1900-tallet og imponerte den lokale kunst-fan, Oliver Brown].