Født i Fredrikstad i 1818, oppvokst i Kristiansand og Oslo og yrkesaktiv i Oslo og Paris. Faren var krigskommissær Johan Jørgen Broch, og moren het Jensine Bentzen.

Sønnen Ole viste tidlig sjeldne evner for fagene matematikk og fysikk. Etter artium fortsatte han som lærer ved samme læreinstitutt. Etter fem år fikk han statsstipend og reiste rundt i Europa og besøkte store matematikere.

Hjemme igjen i Norge stiftet han og Hartvig Nissen i 1843 en ny skole i Oslo som la vekt på moderne språk og naturvitenskap, Nissens Latin- og Realskole. Skolen ble en stor suksess, og Broch ble lektor i matematikk. Han var også lærer ved Krigsskolen og Den militære høyskolen. Livsforsikringsselskapet Gjensidige ble forøvrig også grunnlagt på denne tiden (1847) - av matematikeren Broch.

Broch var den første med doktordiplom på norsk språk. I 1851 fikk han etablert en embetseksamen i realfag, og i 1858 ble han professor i matematikk ved Universitetet i Oslo. Han ga også ut en rekke lærebøker i realfag.

Broch var en allsidig person og hadde en sjelden evne til å omgås mennesker. Få har vært betrodd så mange offentlige verv som ham, han ble engasjert innen både jernbane, bank, telegraf og skatt.

Politikeren Broch var også fremtredende: han satt i kommunestyret i Oslo, var stortingsmann 1862-69 og sjef for Marinedepartementet 1869-72.

Han ble hedret med St. Olavs orden, Nordstjerneordenen og var storoffiser av den franske Æreslegion.

Broch hadde høy anseelse i utlandet, og ble æresdoktor ved flere utenlandske universiteter. Han arbeidet blant annet i Paris med en oppgave han brant for; å få grunnlagt et felles vitenskapelig mål- og vektsystem for alle land. Arbeidet var nesten fullført da han døde i Sèvres i 1889.

Broch var gift med tyskfødte Frederike Ernestine Wilhelmine Schmidt.

Professor Brochs gate på Dalsenget var inntil 1964 grensegate mellom Strinda og Trondheim. Den går fra Veisletten allé frem til Elgeseter gate der denne går over i Holtermannsveien.

Professor Brochs gate var grensegate mellom Trondheim og Strinda frem til 1964.
Matematikeren Ole Jacob Broch grunnla også livsforsikringsselskapet Gjensidige.