Kaltofen entstammte einer Bergarbeiterfamilie. Bereits als Kind zeichnete, malte und schnitzte Ernst Dagobert mit Begeisterung, und trotz einer leichten Behinderung - ein Bein war schwächer ausgebildet als das andere - war kaum ein früchtetragender Obstbaum vor dem Jungen sicher.

Sein Vater hätte es gern gesehen, wenn Ernst Dagobert Schneider gelernt hätte. So war es auch schon beschlossen, als der junge Kaltofen 1854 trotz seiner leichten Behinderung unverhofft in der "Grube"Himmelsfürst" in Brand-Erbisdorf als Bergknappe die Arbeit im Bergbau begann - und sich dadurch sein Berufswunsch erfüllte. Seine liebste Freizeitbeschäftigung blieb das Schnitzen.

Der Bergmann bei der Arbeit war über Jahrzehnte hinweg das vorherrschende Thema für den Holzbildhauer Kaltofen, der 1871 in die Holzbildhauerlehre wechselte - im Alter von 29 Jahren. Kaltofen schnitzte meisterhaft, und schon zu Lebzeiten wurden seine Arbeiten zu hohen Preisen gehandelt. Der Museumsgründer Oskar Seyffert hatte schon Anfang des 20. Jahrhunderts mehr als ein Dutzend Figuren von Kaltofen für das Museum für Sächsische Volkskunst angekauft.