Il romanzo è suddiviso in otto parti.
Prima parte

La prima parte introduce la figura di Stepan Arkad'ic Oblonskij ("Stiva"), un ufficiale civile che ha tradito la moglie Dar'ja Aleksandrovna ("Dolly"). La vicenda di Stiva mostra la sua personalità passionale che sembra non poter essere repressa. Per questa ragione, Anna Karenina, la sorella sposata di Stiva, viene chiamata da San Pietroburgo da Stiva per persuadere Dolly a non lasciarlo. Appena giunta a Mosca, un operaio della ferrovia muore accidentalmente investito da un treno, e ciò fa presagire la morte di Anna stessa. Nel frattempo, un amico di infanzia di Stiva, Konstantin Dmitric Levin, arriva a Mosca per chiedere la mano della sorella minore di Dolly, Katerina Aleksandrovna Šcerbackaja ("Kitty"). Il giovane, serio aristocratico, vive in una tenuta che gestisce lui stesso. Kitty rifiuta, aspettando una proposta di matrimonio dall'ufficiale dell'esercito Aleksej Kirillovic Vronskij. Nonostante la sua infatuazione per Kitty, Vronskij non ha intenzione di sposarsi, finché non incontra Anna in stazione, dove aspettava l'arrivo della madre. Anna, scossa dalla propria reazione alle attenzioni di Vronskij, ritorna immediatamente a San Pietroburgo. Vronskij la segue sullo stesso treno. Levin ritorna al suo podere, abbandonando ogni speranza di matrimonio e Anna ritorna a San Pietroburgo da suo marito Aleksei Aleksandrovic Karenin, un ufficiale governativo, e da suo figlio Serëža.
Seconda parte

Nella seconda parte, Karenin rimprovera Anna per le sue lunghe conversazioni con Vronskij, ma ciononostante dopo poco lei asseconda l'affetto che Vronskij le dimostra, rimanendo incinta. Quando Vronskij cade da cavallo durante una gara, l'angoscia provata da Anna rende palesi i suoi sentimenti al marito, per cui si vede costretta a confessargli la relazione. Quando Kitty apprende di non avere più possibilità con Vronskij, decide di partire per la Germania, in una località termale, per riprendersi dallo choc. Qui conosce la giovane Varen'ka, che diventa per lei un modello spirituale.
Terza parte

La terza parte narra la vita rurale di Levin nella sua tenuta, un'ambientazione legata intimamente ai suoi pensieri e alle sue lotte interiori. Dolly, incontrando Levin, cerca di far rivivere i suoi sentimenti per Kitty, apparentemente senza risultati, finché Levin, rivedendola di sfuggita, capisce di essere ancora innamorato di lei. Tornato a San Pietroburgo, Karenin, rifiutando di separarsi da Anna, la mette in una situazione molto frustrante, minacciandola di non lasciarle più vedere Serëža, nel caso se ne vada con Vronskij o commetta dei passi falsi.
Quarta parte

Nella quarta parte, Karenin inizia a trovare la situazione intollerabile e comincia a valutare la possibilità di divorziare. Il fratello di Anna, Stiva, cerca di dissuaderlo, invitandolo a parlarne con Dolly. Quest'ultima iniziativa sembra di nuovo non sortire alcun effetto, ma Karenin cambia idea dopo aver saputo che Anna sta morendo per complicazioni dovute al parto. Al suo capezzale, Karenin perdona Vronskij, che cerca di suicidarsi per il rimorso. Anna comunque migliora, e chiama sua figlia Anna ("Annie"). Stiva ora cerca di far divorziare Karenin. Vronskij in un primo tempo decide di fuggire a Tashkent, ma cambia idea dopo aver visto Anna e insieme decidono di partire per l'Europa, senza aver ottenuto il divorzio. Molto più immediato è il risultato degli sforzi di Stiva per combinare un incontro con Levin e Kitty: i due si riconciliano e si fidanzano.
Quinta parte

Nella quinta parte, Levin e Kitty si sposano. Pochi mesi dopo, Levin scopre che suo fratello Nikolaj sta morendo. La coppia si reca dal moribondo, di cui Kitty si occupa fino alla morte, scoprendo nel frattempo di essere incinta. In Europa, Vronskij e Anna fanno molta fatica a trovare degli amici che li accettino, continuando a dedicarsi a passatempi, finché non tornano in Russia. Karenin è consolato e influenzato dalla contessa Lidija Ivanovna, di lui innamorata, entusiasta della religione e delle credenze mistiche di moda nelle classi sociali più elevate, che gli consiglia di tenere Serëža lontano dalla madre. Anna riesce lo stesso a fargli visita il giorno del suo compleanno, ma è scoperta da Karenin, che aveva detto a Serëža che Anna era morta. Poco dopo, lei e Vronskij partono per la campagna.
Sesta parte

Nella sesta parte, Dolly si reca da Anna e, su richiesta di Vronskij, le chiede di cercare di divorziare da Karenin. Ancora una volta, le parole di Dolly sembrano non sortire alcun effetto, ma quando Vronskij parte per alcuni giorni, la noia e il sospetto convincono Anna della necessità di un matrimonio con lui: scrive a Karenin e parte con Vronskij per Mosca.
Settima parte

Nella settima parte, i Levin sono a Mosca per il parto di Kitty, che dà alla luce un bambino. Stiva, mentre cerca l'appoggio di Karenin per un nuovo lavoro, gli chiede nuovamente di divorziare da Anna. Oramai le decisioni di Karenin sono guidate da una sorta di chiaroveggente, raccomandato da Lidija Ivanovna, che gli consiglia di rifiutare il suggerimento di Stiva. La relazione tra Anna e Vronskij inizia ad essere sempre più tesa, dominata dal risentimento provocato da un'ingiustificata ed esasperata gelosia da parte della donna. I due decidono di tornare in campagna, ma Anna, mentre Vronskij si trova fuori, in uno stato di forte confusione e di avversione verso tutto ciò che la circonda, va prima a trovare Dolly e Kitty, quindi, secondo una struttura circolare che riconduce alla prima parte, si suicida lanciandosi sotto un treno. Per l'idea del violento suicidio di Anna, Tolstoj si ispirò ad un fatto di cronaca accaduto il 4 gennaio 1872 nei pressi della sua abitazione, quando una donna di nome Anna Stepanovna Pirogova si suicidò alla stessa maniera nella stazione di Jasenki della ferrovia Mosca-Kursk[3].
Ottava parte

L'ottava parte narra le vicende successive alla morte di Anna: Stiva ottiene il lavoro che voleva; Karenin ottiene in custodia Annie; alcuni volontari russi, tra cui Vronskij, che non ha intenzione di tornare, partono per aiutare la rivolta serba contro i turchi, scoppiata nel 1877; infine nelle gioie e nei timori della paternità, Levin scopre la fede in Dio.