Kunstneren Marianne ankommer en isolert øy i Bretagne på slutten av 1700-tallet. Hun har i oppdrag å male et portrett av den vordende bruden, Héloïse. Flere har forsøkt å male Héloïse før, men som eneste mulige protest mot et arrangert ekteskap, nekter hun å la seg avbilde. Marianne utgir seg for å være en tjenestepike, som tar med Héloïse på daglige gåturer, hvor hun i det stille kan observere henne. Med hukommelsen som eneste verktøy blir portrettet ferdig, men gjengir det hvem Héloïse egentlig er?

Historien åpner i årene før andre verdenskrig, i en mystisk og eksotisk verden som fremdeles fortryller, når et japansk barn blir tatt fra sin lutfattige familie for å jobbe som tjener i et geishahjem. Til tross for en svikefull rival som nesten klarer å knuse henne, blomstrer den unge jenta og blir den legendariske geisha Sayuri. Hun er vakker og kultivert, og Sayuri trollbinder de mektigste menn i hennes tid, men er hjemsøkt av sin hemmelige kjærlighet til den ene mannen som er utenfor hennes rekkevidde…

Familien Crawley og staben deres forbereder seg på en ny epoke og et kongelig besøk, men selv fullkomne planer kan slå feil.