Weil sich der Mogul-Herrscher Akbar in Deli nicht mehr sicher fühlte, ließ er sich im 16. Jahrhundert in Agra eine neue Festung bauen. Hier trafen sich Philosophen, es wurde Gericht gehalten, und man feierte Feste.

Die Nachfolger Akbars bauten weiter. Akbars Enkel Sha Jahan, der bauwütigste aller Moguln, ist weitgehend für die äußere Erscheinung des Forts verantwortlich. Er verwandelte es in einen prächtigen Palast mit der Marmormoschee Jahans Moti Masjid. Als Sha Jahan Jahre später von seinem Sohn Aurangzeb gestürzt worden war, kehrte er endgültig nach Agra zurück. Hier verbrachte er unter Hausarrest seine letzten Lebensjahre. Vom Jasminturm aus konnte er auf das Grabmal seiner Lieblingsfrau blicken, den Taj Mahal. Den Thronsaal mit seinen Intarsienarbeiten in der Halle der öffentlichen Audienzen durfte er nicht mehr betreten.