Um auch die Bewegung einzelner Objekte im Bild zu erfassen und um die Berechnung der Referenzvektoren zu vereinfachen, wird das Bild in sogenannte Makroblöcke der Größe 16 x 16 Pixel zerlegt. Jeder Makroblock wird mit Gebieten gleicher Größe auf dem Referenzbild verglichen und das Gebiet mit der besten Übereinstimmung ausgewählt (Bewegungsabschätzung).

Im Falle des bidirektionalen Bewegungsausgleichs (eines B-Bildes) muß noch entschieden werden, ob sich ein Makroblock in einem zukünftigen Bild wiederfinden läßt, welcher dann referenziert wird, oder ob der aktuelle Makroblock aus einer Interpolation von zwei Makroblöcken (einem aus einem vorherigen und einem aus einem zukünftigen Referenzbild) entsteht.