1958; het Britse landgoed Darlington Hall dreigt te verdwijnen, maar een voormalig congreslid uit de VS koopt het op. Hij behoudt de butler James Stevens en de kokkin. Stevens krijgt een brief van de vroegere huishoudster Sally Kenton en besluit haar te bezoeken aan de Westkust. Via flashbacks zien we hoe de vriendschap tussen Stevens en Kenton is ontstaan, en welke belangrijke politieke zaken zich op het landgoed hebben afgespeeld.