Gibb blev født i Lauriston, Skotland som søn af en byggemester. Han studerede kunst på aftenkursus i Edinburgh og ved Royal Scottish Academy (RSA), før han begyndte at udstille på RSA i 1867, hvor billede Arran-landskabet, var det første af ikke mindre end 143 af hans malerier som blev udstillet på akademiet. Ved slutningen af næste tiår havde han etablere sit ry som en maler med speciale i militærmotiver. Efter "Comrades", som var hans første forsøg i den militære genre, blev han valgt som en repræsentant for Royal Scottish Academy. Motivet for dette maleri, som viste en gruppe af tre soldater, hvoraf en var faldet i sneen, var hentet fra et andet af hans malerier som viste retræten fra Moskva og som blev fremvist det efterfølgende år. Han blev et fuldværdigt medlem af akademiet efter "The Thin Red Line", 1881, som blev en overvældende succes. (se også Den tynde røde linje) Motivet var inspireret af Alexander Kinglakes bog "The Invasion of the Crimea" (Invasionen af Krim). Tre år senere fremviste han maleriet "Schoolmates" som forestiller to officerer i kampens hede, hvoraf den ene falder såret i armene på den anden. Han fortsatte med at male militære scener igennem 1. verdenskrig, og hans sidste militære maleri "Backs to the Wall" blev fremvist i 1929.