Kleinromstedt wurde erstmals im Jahre 876 urkundlich erwähnt. Durch Gräberfunde in der Ortslage ist eine frühe Besiedlung bereits seit der Bronzezeit belegt. Das Dorf gehörte zu dem im 14. Jahrhundert gegründeten ernestinischen Amt Dornburg, ab 1815 war es Teil des Großherzogtums Sachsen-Weimar-Eisenach. Kleinromstedt wurde 1850 dem Amtsgerichtbezirk Apolda angliedert. Eine wesentliche Verbesserung der Lebensbedingungen wurde ab 1908 erreicht durch den Anschluss des Ortes an die öffentliche Stromversorgung. 1910 begann man mit dem Bau der örtlichen Wasserversorgung (Hochbehälter und Windturbine für den Pumpenantrieb). Im gleichen Jahr erfolgte der Anschluss des Dorfes an den öffentlichen Nahverkehr durch den Linienbusverkehr zwischen Apolda und Jena. Bereits 1952 wurde ein Kindergarten eröffnet, ab 1957 bestand eine landwirtschaftliche Produktionsgenossenschaft (bis 1990). 1993 begannen umfangreiche Neubau-/Umbau- und Sanierungsarbeiten an Straßen und Gebäudes des Ortes. Später erfolgt die Erschließung des neuen Wohngebietes „Am Kötschauer Weg“, das Heimat für viele neue Kleinromstedter wurde. Seit 15.03. 1996 gehörte die Ortschaft zur Einheitsgemeinde Saaleplatte, seit 01.01.2020 ist Kleinromstedt nun Ortsteil der Landgemeinde Bad Sulza.