Qvist vant en olympisk sølvmedalje i OL 1928 i Amsterdam. Han var med på det norske laget som kom på andreplass i lagkonkurransen i feltritt bak Nederland. Laget besto av løytnant Bjart Ording på hesten «And Over», Qvist på «Hidalgo» og Eugen Johansen på hesten «Baby». Qvist kom på åttendeplass i den individuelle konkurransen i feltritt. På denne tiden var Qvist en av Norges beste ryttere.