Kleist ble født i nærheten av Roskilde i 1732. Han tok teologisk eksamen, ble senere magister og arbeidet som lærer i sju år ved Vor Frue skole i København. Etter å ha blitt vraket til rektorstillingen ved samme skole, søkte han og fikk rektoratet ved Trondheim Katedralskole i 1765.
Han ble godt mottatt i Trondheim, ikke minst av biskop Gunnerus. Med praksis og erfaring fra mer sentrale steder og med blikk for det nye i tiden, ble han en viktig mann for Katedralskolen. Han innførte blant annet nye fag som matematikk og fysikk på skolen.
Kleist kjøpte seg hus øverst i Munkegaten, der Rådhuset nå ligger, men solgte det ikke lenge etter. Han levde ganske nøysomt, selv om han var en rik mann. Ugift som han var, testamenterte han hele den verdifulle boksamlingen sin på ca. 800 bind til Katedralskolen. Formuen sin ga han til opprettelse av et legat, Kleists Stiftelse, som kom i gang 29 år etter hans død. Stiftelsen skulle først og fremst arbeide for sysselsetting av fattige. Men også mer praktiske oppgaver fikk sine bidrag, så som beplantning av Bymarka og utsetting av fisk i byens vannreservoarer.
Selv om rektor Kleist var velkommen i Trondheims kulturelle liv, ble han aldri medlem av Videnskapsselskapet. Han døde i 1781, bare 49 år gammel, og er gravlagt på Domkirkegården.
Gaten som har fått sitt navn etter magister og rektor Kleist, går fra Abelsborg gate til Skolegata i Ila.
