De entree van Historisch Museum Den Briel bevindt zich aan de Markt, in het statige stadhuis. Oorspronkelijk had het gebouw een trapgevel, maar in 1791 vond er een verbouwing plaats en kreeg het pand een zandstenen gevel in Lodewijk XVI-stijl met driehoekig fronton, naar ontwerp van Johannes van Westenhout.
Het museum zelf is voor een deel ook gevestigd in de twee monumentale gebouwen achter het stadhuis: de voormalige stadsgevangenis en Waag, gebouwd in 1623 door stadstimmerman Maarten Cornelis Payese. Het waaggebouw bevindt zich op de hoek van de Koopmanstraat en Venkelstraat. In een waag werden in vroeger tijden goederen gewogen. Dat gebeurde meestal met een tweearmige balans waaraan twee waagschalen hingen. Ons woord weegschaal is daarvan afgeleid. Het recht om een waag te bezitten was een van de stadsrechten die een stad kon verkrijgen. Handelaren werden dan verplicht om hun producten die per gewicht werden verkocht, in de stadswaag te laten wegen. Het gebruik van een waag bevorderde de eerlijke handel. Dit was onmisbaar voor de betrouwbaarheid van de stad als handelscentrum. De stad hief waaggeld, een soort belasting op het wegen, wat een bron van inkomsten voor de stad vormde.
De stadsgevangenis bevatte drie cellen en een gijzelkamer. Mensen werden er vast gezet voor bijvoorbeeld inbraak of diefstal, in afwachting van hun vonnis. Boven de deuren is nog steeds te zien om welke celruimtes het ging: de ‘Bewaarderskamer’ bijvoorbeeld, en de ‘Mannekamer’. De dubbele deuren van deze laatste cel zijn van wel 6,5 cm dik eikenhout en de muren zijn 45 cm dik. In de cellen hebben diverse gevangenen hun sporen achter gelaten: op de deuren en muren zijn namen, initialen, data en een tekening van een galg te vinden, ingegrift door de mensen die er vast zaten.
In 1889 verloor het gebouw haar functie van gevangenis. Na een grondige restauratie werd het in 1912 als museum in gebruik genomen.
