Onze Lieve Vrouwe- of Gevangenpoort, het enige bouwwerk dat van 14e en 15e eeuwse ommuring is overgebleven, bestaat aan de buitenzijde (westzijde) uit twee ronde torens, geheel met Lede en Gobertangersteen bekleed, die door een weergang verbonden zijn. Gezien het materiaal moeten zij uit de tweede helft van de 14e eeuw of later dagtekenen; de torens hebben koepelgewelven onder het beganegrondse en op de verdieping. In het begin van de 16e eeuw werd het poortgebouw aan de stadszijde (oostzijde) verlengd met een aanbouw in baksteen met speklagen, afgesloten door een trapgevel tussen arkeltorentjes. Tongewelf over de doorgang, met gleuf voor een valhek. Op de verdieping een natuurstenen schouw (begin XV) met geprofileerde wangen. De verdiepingen werden van ouds gebruikt als wachtlokaal en gevangenissen. Gerestaureerd in 1932 en 1954.