Bay wurde als Sohn des stellvertretenden Bildungsdirektoren Fidschis geboren und besuchte bis 1959 die "Suva Grammar School". Zwischen 1960 und 1963 war er Schüler der "Whangarei Boys’ High School" im neuseeländischen Whangarei. Im Alter von zehn Jahren begann Bay mit dem Schwimmen unter Paul Krause, einem Schwimmtrainer aus Auckland, der im Winter regelmäßig die Fidschi-Inseln besuchte. Bei den ersten Südpazifikspielen 1963 in Suva wurde Bay mit fünf Goldmedaillen über 110, 440 und 1650 yd Freistil sowie mit der 4-×-110-yd-Freistil- und der 4-×-110-yd-Lagenstaffel zum erfolgreichsten Sportler der Wettkämpfe. Bei den Südpazifikspielen 1966 konnte er mit der 4-×-100-m-Freistilstaffel noch einmal die Silbermedaille gewinnen. 1967 zog er sich vom aktiven Schwimmsport zurück. Im Jahr 1995 wurde Bay als zweiter Schwimmer nach Justine Macaskill in die Hall of Fame der FASANOC aufgenommen. Er lebte 2009 im australischen Brisbane.