I det 19. århundredes Frankrig har den noble Jean Valjean skabt sig en succesfuld tilværelse med masser af indflydelse. Hvad ingen ved er, at Valjean kommer fra ludfattige kår og faktisk er en bortsluppen straffefange. Da den ihærdige politiinspektør Javert pludselig dukker op i Valjeans by, genkender han den tidligere indsatte, og snart sætter en årelang menneskejagt ind. Valjean undslipper i første omgang, men da han og adoptivdatteren Cosette mange år senere slår sig ned i Paris, forelsker hun sig i den unge revolutionær Marius, hvilket atter placerer Valjean i Javert's søgelys.

Paterson er buschauffør i byen Paterson, New Jersey. Hver dag udfører han samme rutine: Står op, går på arbejde, kører samme rute med bussen, skriver digte i sin notesbog, lufter hunden, drikker en og kun en øl på den samme bar, går i seng. Han elsker sin kone Laura overalt på jorden, men modsat ham selv er Laura kontant på jagt efter nye projekter.

De to tveæggede tvillingebrødre Kyle og Peter opdager, at deres mor har løjet for dem i årevis, da de indser, at deres biologiske far ikke er død. Det viser sig dog, at hun ikke er helt sikker på, hvem deres far egentlig er. Det bliver den spæde start på en begivenhedsrig roadtrip gennem USA, hvor flere fædre melder sig på banen, og brødrene får et helt nyt syn på deres mor.