Die Stadt, eingebettet in den engen Hals einer grossen Reuss-Schlinge, war gegen das offene Land abgeschirmt mit Mauern und Gräben und bestückt mit Türmen.

An der „Letzi“ der Oberstadt standen am Fluss je zwei Türme, von denen der Katzenturm („Turm zur Meise“) stehen blieb, allerdings seines Spitzhelmes beraubt. Hier gab es einen (fast) geheimen Ausgang, den „Durchgang“ (Fluchtweg) Zwinglis. Im Stadtgraben wurde eine alte Mühle erhalten, die Aebismühle, auch städtisches Schützenhaus, heute Restaurant Bijou.

In dieser südlichen Stadtfront hatten verschiedene charakteristische Bauten ihren Platz, so der „Spittel“, ein Rentnerheim mit eingebauter Heilig-Geistkapelle. 1843 zur Ermöglichung eines neuen Stadtausganges abgebrochen. Daneben das Stadttor, das in den Jahren 1556 bis 1959 zum heutigen „Spittelturm“ mit Wappenschild und interessanter Turmuhr erhöht wurde.

Sodann das ältere Tor zur Burg, in städtischer Zeit aufgestockt zum beherrschenden „Platzturm“, aber an der Fasnacht im Jahr 1802 aufgrund Altersschwäche eingestürzt, jetzt Durchgang zum („Kegel“-) heute besser bekannt als Schellenhausplatz, anschliessend das „Schellenhaus“, und ganz im Südosten das „Schlössli“.

Die Stadtmauer und der Graben gegen die Au waren seit ungefähr 1400 flankiert durch den „Hexenturm“, in der Frühzeit „Turm zum Himmelrych“ (wiewohl vielfach als Turmverliess genutzt) und durch den „Hermannsturm“ zuerst „Turm zum Kessel“ und dann „der Ramstein“(nach dem hier eingesperrten Herrn gleichen Namens).

In der Mitte gab es das „Au-Törlein“ und östlich davon das Schwesternhaus, vor 1400 zum St. Klarakloster ausgebaut (heute Pfarreizentrum St. Klara).

Die dritte Wehrfront lag im Westen am Reussübergang, einem Pfahljochbau, der 1544/9 die heutigen Steinpfeiler erhielt, dazu die beiden Kapellchen St. Agatha und St. Nikolaus (später St. Nepomuk), und eine mächtige Sicherung durch das starke wappengeschmückte „Bollhaus“.

In diese Wehrorganisation einbezogen war auch die „Bruggmühle“, ein habsburg-österreichisches und dann städtisches Lehen, das im 19. Jahrhundert zur Spinnerei, dann zur Zwirnerei und schliesslich in ein Elektrizitätswerk umgebaut wurde (die alte Kraftwerkanlage ist heute stillgelegt; geplant ist, hier zusammen mit der AEW Energie AG und dem neugegründeten Verein ein Aarg. Strommuseum einzurichten). Ins Bild gehört auch die sukzessiv ausgebaute Schwellanlage in der Reuss mit dem „Fällbaum“.