A híres filmrendező 1932-ben látta meg a napvilágot a Szovjetunió területén. Egy igencsak befolyásos családban született, ugyanis anyai ágon a nagybátyja Moszkva kormányzója volt, apja pedig költő és műfordító.
Azonban nem sokáig élvezhette a családi fészek biztonságát, ugyanis három éves korában az édesapja elhagyta őket. Egy vidéki településen bérelt házban voltak kénytelenek élni, ámbár nem sokáig volt itt maradásuk, ugyanis a második világháború kitörésekor, menekülésre kényszerültek. Sorsát az is megpecsételte, hogy több éven keresztül korházi ágyra kényszerült, mivel elkapta a tuberkulózis betegséget.
Tanulmányait zenei és festészeti irányban kezdte, majd később beiratkozott a moszkvai Filmfőiskolára. 1960-ban megnősült, egy főiskolai kolléganőjét vette feleségül. Az első szakmai sikerét 1962-ben aratta le, amikor leforgatta az Iván gyermekkora című filmjét. Ekkor a velencei Filmfesztiválon el is nyerte a legjobb rendezésért járó Arany Oroszlán díjat. Az 1966-ban forgatott Andrej Rubljov filmje miatt, az alkotói szárnyalások következtében érték bizonyos kellemetlenségek, ami ellen harcolnia kellett. Azonban a film forgatása közben ismét rátalált a szerelem Larisza Kizilova személyében, akitől fia is született a későbbiek során.
Szintén nagy népszerűségre tett szert az 1979-ben készített Nosztalgia forgatókönyvével is, ugyanis a cannes-i filmfesztiválon (1983) az alkotói film nagydíjat vehette át ennek köszönhetően. 1986 decemberében hunyt el Párizsban, holttestét ugyanitt temették el, az orosz temetőben.