Neurath var holist, og mente at det finnes ingen ubetvilelig del av kunnskapen. Han er kjent for å ha sammenlignet vitenskapen med en båt som stadig omarbeides mens den befinner seg til sjøs, og der deler må byttes ut enkeltvis.