1937. Seit knapp 30 Jahren lebt der Hamburger Kaufmann John Rabe (ULRICH TUKUR) mit seiner Frau Dora (DAGMAR MANZEL) in der damaligen chinesischen Hauptstadt Nanking. Er leitet die dortige Siemens-Niederlassung. Der Gedanke, die Firmenleitung seinem Nachfolger Fließ (MATHIAS HERRMANN) zu übergeben und nach Berlin zurückzukehren, fällt ihm schwer. Ihm ist China ans Herz gewachsen, und er weiß, dass er hier ein Mann mit Einfluss ist, in der Berliner Zentrale jedoch nur einer von vielen.
Während seines Abschiedsballs wird Nanking von Fliegern der japanischen Armee bombardiert, die kurz zuvor bereits Shanghai eingenommen hat. Panik bricht aus. Rabe öffnet die Tore des Firmengeländes, um die schutzsuchenden Familien seiner Arbeiter in Sicherheit zu bringen. Während am kommenden Morgen die Feuer gelöscht und Schäden begutachtet werden, beraten die in der Stadt verbliebenen Ausländer, was sie angesichts der Bedrohung tun können. Der deutsch-jüdische Diplomat Dr. Rosen (DANIEL BRÜHL) berichtet von einer Sicherheitszone für Zivilisten, die in Shanghai eingerichtet wurde. Die Leiterin des Girls Colleges, Valérie Dupres (ANNE CONSIGNY), ist sofort begeistert und schlägt John Rabe, als Deutscher gewissermaßen „Verbündeter“ der Japaner, als Vorsitzenden der Internationalen Sicherheitszone Nanking vor. Sehr zum Unwillen von Dr. Wilson (STEVE BUSCEMI), Chefarzt des lokalen Krankenhauses, den eine große Antipathie mit dem „Nazi“ Rabe verbindet. Rabe wollte eigentlich am nächsten Tag die Heimreise antreten, entscheidet sich aber, zu bleiben. Er stürzt sich in die Arbeit.
Obwohl die kaiserliche japanische Armee mit ungeahnter Brutalität gegen die Zivilbevölkerung vorgeht, gelingt es Rabe und seinen Mitstreitern mit Mut und Geschick, den Japanern die geplante Sicherheitszone abzutrotzen. Hunderttausende strömen in die Zone – weit mehr als erwartet. Doch die Übergriffe der Japaner nehmen kein Ende, die Versorgungssituation wird immer schlechter. Schließlich planen die Japaner, die Zone unter einem Vorwand zu stürmen . Für Rabe beginnt ein Wettlauf gegen die Zeit.