Fjerde sæson finder sted i 1922, og her kan vi igen opleve de elskede personer i de overdådige omgivelser i Downton Abbey. Nye udfordringer dukker op, og familien Crawley og deres tjenestefolk er som altid uadskillelige.
Seks måneder efter Matthews tragiske død er hele familien stadig i dyb sorg. Mary kæmper for at skabe sig en ny tilværelse som alenemor, og familien støtter hende i at få hold på tilværelsen. Med den nye rolle som enke må Mary også modstræbende se i øjnene, at en række nye bejlere dukker op.
Vi er midt i de brølende tyvere, og forandringens vinde blæser også i Downton. Rose drømmer stadig om en tilværelse i London, hvilket ikke falder i god jord hos familien Crawley, og Ediths spirende forhold til Gregson trues af omstændigheder, hun ikke kan styre. Blandt tjenestefolkene ruller store passioner, og unge hjerter knuses.
