Er hielt sich nur insgesamt sechsmal im Tower auf. Bereits Heinrich III., der maßgeblich für die heutige Gestalt der Festung verantwortlich ist, war nur noch elfmal im Tower, und hielt sich insgesamt 32 Wochen dort auf. Ab 1216 begann endgültig die Verlagerung der Wohnräume des Königs auf das Festungsgelände außerhalb des White Towers. Ursprünglich befand sich hier der geschützte Bereich für die königlichen Räume TowerRush innerhalb des inneren Rings. Jahrhundert, er erinnert nur wenig an die mittelalterlichen Mauern in anderen Teilen des Towers.
Jahrhundert zurück wie der genaue Ablauf der Schlüsselzeremonie oder diverser anderer Abläufe. Ebenso wie in dieser Zeit die Architektur der Festung wieder vermittelalterlicht wurde, wurden auch die Zeremonien stärker formalisiert und zuschauerfreundlicher gemacht. Die Uniformen sollen mittelalterliche Uniformen imitieren, gehen aber auf das 19. Jahrhundert sind die Positionen des Konstablers und des Lieutenants vor allem zeremonielle Posten, die an hohe Offiziere nach ihrem Ausscheiden aus dem aktiven Dienst vergeben werden. Auch mehrere Erzbischöfe von Canterbury übten das Amt aus. Über die Jahrhunderte wohnten zahlreiche und verschiedene Gruppen von Menschen im Tower, die in einem Verhältnis zur englischen oder britischen Monarchie standen.
Erst mit dem Aufstieg Großbritanniens zur Weltmacht begann sich diese Rolle des Towers zu ändern. Die Krise ließ sich erst beilegen, nachdem der Armee das Recht eingeräumt worden war, im Rahmen ihrer Pflichterfüllung die Tower Bridge besetzen zu dürfen. Hier waren bis 1947 mehrere Hundert Soldaten stationiert. Dafür hätte das Board of Ordnance mehrere Gebäude räumen und alle Stallungen in die Hand der Army geben müssen. Dieses hat sein Hauptquartier und Regimentsmuseum weiterhin im Tower. Kurz nachdem das englische Königreich nach dem englischen Bürgerkrieg 1661 sein erstes stehendes Heer eingeführt hatte, begann es, dauerhaft Truppen im Tower zu stationieren.
Jahrhundert hinein diente der Tower dabei als gewöhnliches Kriminalgefängnis für London und umliegende Regionen. Endgültig den Tower verließen die Kartenzeichner im Jahr 1841, als sie nach Southampton zogen. Ab 1790 reisten zahlreiche Zeichner durch das Land, um bis 1801 den Survey of Kent fertigzustellen. Die Brass Mount diente insgesamt bis in die 1990er hinein als Waffenlager. Während das königliche Waffenlager weiterhin die dominierende Rolle im Tower spielte, begann die Rolle der Festung gegenüber anderen großen Lagern und Waffenfabriken zu schwinden.
Jahrhunderts zahlreiche Gebäude auf dem Festungsgelände entfernen. Sowohl aus militärischen als auch aus ästhetischen Gründen ließen die Baumeister des 19. Der Mode der damaligen Zeit folgend, versuchten die Bauherren im Tower wieder einen möglichst mittelalterlichen Zustand herzustellen. Die verbliebenen mittelalterlichen Palastanlagen außerhalb des White Towers fielen zwei großen Feuern in den Jahren 1774 und 1788 zum Opfer. Diese sorgten zwar für regelmäßigen Neubau und eine Erweiterung der inneren Gebäude, verhinderten aber den Ausbau der Verteidigungsanlagen. Die Festungsringe wurden von außen nach innen höher, so dass Verteidiger auf den inneren Ringen über ihre Mitkämpfer auf den äußeren Ringen hinwegschießen konnten.
Umfangreiche archäologische Ausgrabungen begannen, und an mehreren Stellen bemühten sich Restauratoren, den mittelalterlichen Zustand wiederherzustellen. Im Mittelalter und zu Zeiten der Tudors begann die britische Krönungszeremonie im Tower. Jahrhundert begann die City zahlreiche Bürohochhäuser in der Nähe des Towers zu erlauben, die sukzessive durch größere Gebäude ersetzt wurden.
Ein auffallender Turm in der inneren Mauer ist der Beauchamp Tower im Westen, dem die ehemalige Funktion als Tor anzusehen ist. An der südöstlichen Ecke des inneren Ringes liegt der Salt Tower, vermutlich im Jahr 1238 erbaut. Jahrhundert stammen, ließ der Konstabler des Towers den Turm im 17. Das Tor vom äußeren in den inneren Festungsring verläuft durch den Bloody Tower. Jahrhundert erhielt er wieder eine mittelalterlich aussehende Spitze.
Earl of Leicester vor aufgebrachten Adligen einen Monat lang im Tower hatte verschanzen müssen, begann er mit dem Ausbau des Towers als Festung auf dem damals aktuellen Stand der Festungstechnik. Außerdem ließ er fünf Tonnen Marmor aus Dorset heranschaffen, um die Innenräume auszubauen. Heinrich ließ die Gemächer von König und Königin neu herrichten und die Wände weiß kalken. Jahrhunderts mit dem Ausbau des Towers zur Festung mit mehreren Gebäuden.