At hans tid som statsråd ble såpass kort, ses av mange i sammenheng med at regjeringen mistet kontrollen over av debatten etter Kings Bay-ulykken. Rapporten fra den regjeringsnedsatte Tønseth-kommisjonen om ulykken kom til departementet kort tid før Stortinget skulle gå fra hverandre før sommeren. Skogly sendte rapporten til pressen med sperrefrist samme dag som Stortinget skulle oppløses. Da opposisjonspartiene fikk vite dette, ble oppløsningen utsatt, og Einar Gerhardsens tredje regjering ble felt på et mistillitsvotum i august 1963. Da Gerhardsen dannet sin fjerde regjering en måned senere, ble ikke Oskar Skogly tilbudt noe departement, noe han tok seg svært nær av.