Dette er en av byens aller eldste bygninger, med fortid som privat «steinhus» på 1600-tallet og tuftet på enda eldre bygninger. Det siste er ingen hemmelighet i dag, ettersom ruinene etter det eldste bygningsanlegget ligger avdekket og godt synlig inne i bygningen og på baksiden, der biblioteket går over i sitt moderne tilbygg fra 1988.
Om ruinene er Olavskirken eller en annen av byens mange tidlige kirker, strides de lærde om. Men kirken ble i hvert fall overtatt og gjort til klosterkirke av fransiskanermunkene på 1200-tallet. Kirken brant i 1531, men da var det uansett snart slutt på katolsk tid og klostervesenet i Norge. Gjennom resten av 1500-tallet og en stor del av 1600-tallet var den gamle kirkebygningen i privat eie og bruk, inntil byen overtok den som rådhus i 1669. Selv en murgård som dette slapp ikke uskadd fra bybrannene som stadig herjet, i 1598, 1651 og 1681. I 1702 fikk byggmester Hempel i oppgave å reise et nytt rådhus på de gamle murene, og til tross for en ny bybrann i 1708 og visse ombygginger, har Gamle rådhus beholdt sin form og karakter i årene siden.
I 1864 ble bygningene ved siden av slått sammen med Søndre gate 1 og 3 og innredet som brannstasjon. Det profesjonelle kommunale brannkorpset var etablert året før og hadde tilbrakt den første tiden i midlertidige lokaler i Anzjøngården i Munkegata 18. På det nye stedet ble hovedporten, merket «Brandvagt», lagt mot Kongens gate. Innenfor var det staller og rom for vogner, brannsprøyter, slanger og ulike brannredskaper. De fleste av brannfolkene fikk husvære på stasjonen for å gjøre utrykningene så raske og effektive som mulig.
De gamle trebygningene tjente sitt formål til 1947, da de ble revet til fordel for en ny og moderne hovedbrannstasjon som sto ferdig i 1952. Et første byggetrinn med vognhaller, mot Søndre gate/Schjoldagerveita, var for øvrig påbegynt under krigen og ble ferdigstilt kort etter. Brannstasjonen i Kongens gate/Søndre var i bruk i vel 60 år, før den nye hovedbrannstasjonen på Sluppen ble tatt i bruk, omtrent samtidig som nye bistasjoner var bygd på Ranheim, Nyhavna og Sandmoen.
Sparebankens ruvende gård i bakgrunnen sto ferdig i 1882, med Adolf Schirmer som arkitekt. Banken hadde i mange år sin hovedinngang fra Kongens gate, før den utvidet med moderne forretningsbygg på nordsiden langs Søndre gate, først i 1978, deretter i 2010.