Vor 120 Jahren wurde der Grundstein des Pohlheimer Kulturdenkmals Alte Schule gelegt, welches sich in der Ludwigstraße 33 im Stadtteil Watzenborn-Steinberg befindet. Damit wurde die ehemalige Schule genau zwischen den damals noch getrennten Orten Steinberg und Watzenborn ansässig.
Viele Generationen verbrachten dort ihre Schulzeit, bis die Grundschule aufgrund von Platzmangel schließlich 1978 in die Pestalozzistraße umzog. Heute liegt das historische Gebäude Alte Schule zentral in Watzenborn-Steinberg und wird von der Stadtverwaltung Pohlheim genutzt, welche dort die Stadtbücherei, die Stadtkasse, den Sitzungssaal und auch das Stadtarchiv untergebracht hat.
Vor dem Zusammenschluss der einzelnen Stadtteile zur Stadt Pohlheim am 1. Januar 1971 wurden die Gemeindearchive meist auf den Dachböden der Rathäuser oder Bürgermeistereien aufbewahrt. Als Karl Heinrich Jung im Februar 1984 in den Ruhestand ging, erklärte er sich bereit, ein zentrales Archiv in Pohlheim zu betreuen. 1985 begann der Ausbau des Dachgeschosses der Alten Schule im Stadtteil Watzenborn-Steinberg, wo sich das Archiv bis heute befindet.
Am 1. Oktober desselben Jahres begann Jung mit seiner Arbeit und führte bis März 1986 die Archivalien aller sechs Stadtteile zusammen. Damals beliefen sich die Akten auf 253 laufende Meter. Hinzu kamen noch eine Fachbibliothek mit 300 Bänden, viele kleinere Schriftzeugnisse und etwa 4000 Bilder im Fotoarchiv.
Im Februar 1988 wurde das Team durch Christel Hankel erweitert. Als Jung 1993 sein Amt niederlegte, folgte ihm Karl Philipp ehrenamtlich bis 1999 nach. Mit dessen Ausscheiden arbeitete Christel Hankel eigenverantwortlich bis zu ihrem Ruhestand im Oktober 2011 im Stadtarchiv. Am 1. Januar 2012 übernahm Dr. Nikola Richter (geb. Stumpf) bis zum 30. September 2022 die Leitung, welche seit dem
1. Februar 2023 von Denise Hess fortgeführt wird.