Paterson is een buschauffeur in de gelijknamige stad Paterson, New Jersey. Paterson hanteert een eenvoudige routine: hij rijdt zijn dagelijkse route, observeert de stad door zijn voorruit en krijgt gesprekken mee die om hem heen plaatsvinden.
Tijdens een familiemaaltijd ontdekken vier broers en zussen het controversiële verleden dat hun vader voor hen verborgen hield. Terwijl deze onthulling de familie verdeelt, ontstaat er een ander schandaal: Romi en Sasha, tweelingbroer en -zus, hebben in het geheim een hechte en fysieke liefde.
Op zijn sterfbed vertelt de oude Indiaanse strijder Windwalker zijn levensverhaal aan zijn kleinkinderen. Met rode oortjes luisteren ze naar hoe Windwalker de gelukkige beginperiode beschrijft. Windwalker is dan getrouwd met Tashina en zij schenkt hem twee zonen. Ongeluk begint hem te achtervolgen wanneer Tashina sterft en zijn jongste zoon wordt ontvoerd door Crow-strijders. Windwalkers leven staat vanaf dan in het teken van de pijnlijke zoektocht naar zijn oogappel.