Bankár apja 1913-ban nemességet vásárolt a királytól, Neumann ezért jegyezte külföldön megjelent cikkeit Johann, majd Amerikában John von Neumann néven. Már hatéves korában képes volt két hatjegyű számot fejben elosztani, és ógörögül társalgott apjával. Középiskolai tanulmányait a híres fasori Evangélikus Gimnáziumban végezte, ahol Wigner Jenő és Teller Ede is tanult, első értekezését tizennyolc évesen publikálta. Apja kívánságára Zürichben vegyészmérnöki diplomát szerzett, miközben Budapesten és Berlinben matematikát tanult, doktori fokozatát halmazelméleti disszertációjával szerezte meg. Ezután Németországban tökéletesítette matematikai tudását, Göttingenben operátorelméletet és kvantumfizikát kutatott, kidolgozta a fizikai mérések matematikai elméletét, a tiszta kvantummechanikai állapot fogalmát.
Neumannt 1930-ban Wigner Jenővel együtt az Egyesült Államokba hívták, ő lett minden idők legfiatalabb egyetemi tanára a Princetoni Egyetemen. A matematika szinte minden területén maradandót alkotott, 150 dolgozata közül 20 fizikai, a többi elméleti és alkalmazott matematikai, játék- és számítógép-elméleti tanulmány. Ő fogalmazta meg a statisztikai mechanika úgynevezett ergodtételét, a sok részecskéből álló rendszereket statisztikusan leíró matematikai modellt. Az 1930-as évek végén a később Neumann-algebrának nevezett operátorgyűrűket kutatva alkotta meg a folytonos geometriát, amellyel olyan geometriák nyerhetők, amelyek dimenziószáma nem csak pozitív egész szám lehet. A kvantummechanika kutatói közül ő volt az, aki a Heisenberg-féle mátrixmechanikát és a Schrödinger-féle hullámmechanikát korrekt és szigorú matematikai alapokra helyezte.
Miután az Egyesült Államok belépett a második világháborúba, tanácsadóként dolgozott, az atomfegyver-programban a robbanási lökéshullámokat és a ballisztikai lőelemtáblázatokat elemezte.
Rendkívül jelentős játékelméleti munkássága. A témában 1928-ban közölte első értekezését, kutatásait 1944-ben, Oskar Morgensternnel közösen írott, ma már alapműnek számító Játékelmélet és közgazdasági viselkedés című könyvében összegezte. A kétszemélyes, zéró összegű játékokat (a játékosok döntési és együttműködési lehetőségeit) elemezve kimutatta, hogy létezik mindkét fél számára optimális stratégia. Az általa lefektetett elveket ma már többek közt a közgazdaságtan, a társadalom- és hadtudomány, a pedagógia is használja.
Hidrodinamikai kutatásainak nemlineáris differenciálegyenleteit nem lehetett zárt formában megoldani, ez vezette el a számítástechnikához. Egy matematikus ismerőse, a lőtáblázatok számításaival foglalkozó Herman Goldstine megemlítette, hogy az amerikai hadsereg egy elektronikus számolóberendezés, az ENIAC kifejlesztésén dolgozik. Neumann érdeklődését felkeltette a program, melynek egy év múlva már az igazgatója volt, állandóan vitatkozva az 1946-ban munkába állított ENIAC tervezőivel. Mivel az emberiség közös kincsének tartotta a számítógépet, nem volt hajlandó ötleteit szabadalmaztatni, sőt 1945-ben kiadta az EDVAC, a következő típus leírását, megakadályozva a szabadalom levédetését.
Neumann és Goldstine 1952-ben alkotta meg saját gépét: az IAS már párhuzamos működésű volt, sokkal gyorsabban számolt, felépítése alapvonalaiban megegyezett a mai korszerű számítógépekével. Aritmetikai, memória-, vezérlő- és input-output egységekből állt, ők módosítottak először programot programmal, alkalmaztak először képernyős kimenetet nyomtatás helyett. Neumann úttörő volt a gépek logikai felépítése terén is, tőle származik a kettes számrendszer alkalmazása, a memória, az ő felismerése, hogy a számítógépben nemcsak adatok, hanem utasítások, programok is tárolhatók. A mai gépek mind így működnek, csak a méretük zsugorodott.
Neumann dolgozta ki azt is, hogy a megbízhatatlan elemekből álló gép miképpen adhat megbízható választ, leírta a véletlen gépi szimulálását, kutatta a magukat reprodukáló sejtautomatákat, a halmazelmélet egzakt alapjait, a kibernetika elméletét. Elhalmozták megbízásokkal, számtalan előadásra kérték fel, a hadsereg minden fegyvernemének tanácsadója volt. Amikor 1954-ben barátját, Robert Oppenheimert a Mccarthy-féle kommunistaellenes boszorkányüldözés alatt meghurcolták, Neumann kiállt mellette.
1955 végén egészsége rohamosan romlani kezdett, akasztófahumorral azt mondta: ha rákom van, megkapom a Fermi-díjat. Mint kiderült, csontrák támadta meg, és a Szabadság-éremmel együtt valóban megkapta a kitüntetést. Utolsó percéig a számítógép és az agyműködés párhuzamait feltáró könyvén dolgozott, de a kézirat befejezetlen maradt. Kollégái nagy viccmesélőnek, vidám, társasági embernek ismerték, csodájára jártak széles műveltségének, hihetetlen memóriájának, fejszámoló készségének, a legenda szerint az első számítógépek számításait ő maga ellenőrizte a géppel egy időben, fejben kalkulálva.
A múlt század egyik legnagyobb matematikusa 1957. február 8-án halt meg Washingtonban. Emlékét őrzi a Neumann János Számítógép-tudományi Társaság, a Holdon krátert neveztek el róla, több utca és iskola viseli nevét, budapesti szülőházán emléktáblát helyeztek el. Életműve 2015-ben bekerült a Hungarikumok Gyűjteménybe. Születésének 120. évfordulóján emlékévet rendeztek, a Neumann Társaság Idézhető Neumann János címmel kötetet jelentetett meg róla, a könyvesboltok polcaira került Ananyo Bhattacharya Neumann János – Az ember a jövőből című életrajzi könyve, a Magyar Nemzeti Bank háromezer forint névértékű emlékérmét bocsátott ki a tiszteletére.
