Gården ble reist på tomten etter Skrataasgården, som lå på dette stedet frem til den ble revet i 1899. Her mellom Jomfrugatas og Credoveitas utløp i Fjordgata var ikke grunnflaten den største, men med stor byggehøyde ble det likevel et ruvende hus.
Bak det nye byggeprosjektet sto dr. Halfdan Bryn, som ved siden av å eie gården, i mange år hadde sin legepraksis i 4. etasje, der familien hans også hadde leilighet. Gården fikk naturlig nok sitt navn etter ham - og omtales, godt over hundre år etter, fortsatt gjerne som Bryngården.
På gateplan hadde Fjordgata 37 to butikklokaler med moderne speilglassruter omgitt av upusset naturstein. I disse lokalene kom papirhandelen E. Sølvberg (mot veita) og Trondhjems Brændevinssamlag tidlig inn som leietakere. I 1917 overtok det nyetablerte firmaet A/S Skibs- og Fiskeriutstyr lokalene etter brennevinsutsalget, som naturlig nok måtte stenge da brennevinsforbudet kom. Den nye butikken lå gunstig til i forhold til Kanalen og Brattøra og ble helt fra starten godt besøkt av fiskere og båtfolk. Skipshandelen grodde fast i Bryngården og overtok etter hvert som eier av eiendommen - og har fortsatt tilhold i gården, der den neste år kan feire 100-årsjubileum.
Tidlig i 1960-årene hadde Skibs- og Fiskeriutstyr ennå Sølvbergs papirhandel som nærmeste nabo. I 2. etasje, til dels også i 3. etasje var det kontorer, mens resten av gården besto av leiligheter, helt opp til loftsetasjen på 6. nivå. Bygningens opprinnelige preg var respektfullt bevart, med sine to løkkuppel-tårn og høye spir, markerte etasjeskiller i fasaden og høye vinduer. Siden forsvant mye av disse karakteristiske trekkene i eksteriøret og gjorde gården mer anonym, selv om den stadig rager høyt over de mange toetasjes tregårdene på denne siden av Fjordgata.
På motsatt side av gata hevder bryggene seg bedre mot Bryngårdens høyde. Den luftige vareheisingen med tau, taljer og kroker var sammen med vare- og lastebiler i 60-årene en del av det alminnelige gatebildet, der også personbilene i høy grad hadde sin plass, i et spekter fra førkrigsmodeller til Volvo Amazon.