Az emberi nyomorúság krónikása saját tapasztalataiból merítette világhírűvé vált könyveinek történetét: Koppenhága egyik nyomornegyedében, sokgyermekes, mélyszegénységben élő családban született, apja útkövező munkás és alkoholista volt. 1877-ben a család Bornholm szigetére, Nexö városkába költözött: innen későbbi írói neve. Kamaszként volt pásztorfiú és cipészinas, majd 1889 és 1893 között – egy pártfogója támogatásával – elvégezte az Askov Népfőiskolát.
Ezt követően egy odensei iskolában tanított, de súlyos tüdőbetegsége miatt fel kellett hagynia vele. Baráti kölcsön segítségével húsz hónapig Olaszországban és Spanyolországban utazgatott, majd a koppenhágai állami tanítóképző egyéves tanfolyamát látogatta. Ennek elvégzése után a frederiksbergi iskola tanára lett. Ekkortájt írta első műveit; többnyire éjszaka alkotott, és ez annyira megviselte szervezetét, hogy ismét le kellett mondania a tanításról. 1901-től szabadúszó íróként dolgozott, mellette a Politiken című radikális napilap munkatársa volt.
Első elbeszéléseit, regényeit pesszimista szemlélet, sötét tónusok jellemzik, témája – mint a későbbi nagyregényeké is – a szegény emberek, munkások, parasztok élete.
Az igazi áttörést a Hódító Pelle című négykötetes regény hozta meg számára, amelyen 1906 és 1910 között dolgozott. A mű egy szegényparaszt fiának szellemi s társadalmi fejlődését beszéli el a munkásvezérré emelkedéséig, és számos önéletrajzi elemet is tartalmaz. A könyvből készült, Bille August rendezte film 1988-ban elnyerte az Oscar-díjat és a cannes-i Arany Pálmát is. Nexö következő nagyregénye, a Ditte, az ember lánya, egy szegény sorból származó fiatal nő tragikus sorsán keresztül mutatja be a századforduló Dániájának szegényeinek életét, mindennapi küzdelmeit.
Nexö baloldalisága aktív közéleti szerepvállalásában is megmutatkozott: tagja volt a Szocialista Munkáspártnak, 1936-ban a dán Vörös Segély elnöke lett, többször járt a Szovjetunióban, tagja volt a Nemzetközi Sztálin Békedíjat odaítélő bizottságnak, és részt vett a spanyol polgárháborúban is. 1941-ben mint a Dán Kommunista Párt egyik vezetőjét a nácik letartóztatták, de 1943-ban sikerült Svédországba menekülnie. 1945-ben tette közzé a Pelle folytatásának is tekinthető A vörös Morten című regényét, amelynek címszereplője a forradalmi munkásokat képviseli. 1949-ben az NDK-ban, Drezdában telepedett le, és itt is halt meg 1954. június 1-jén.
Thomas Mann így nyilatkozott róla: „a szív szocialistája, s így Dánia büszkesége és az egész világ morális tulajdona”.