Später wurdedie kleine Kirche als Garnisonskirche für die Soldaten des Großherzogs genutzt.
Taucherbrunnen
Der sogenannte „Taucherbrunnen“ – benannt nach dem Bildhauer Konrad Taucher und von diesem im Jahr 1905 entworfen – steht links vor der Kleinen Kirche, die durch einen Rücksprung der Kaiserstraße an dieser Stelle einen kleinen Platz ausbildet.
Der Bildhauer wählte einen wasserschöpfenden Jungen als zentrales Motiv und verweist so auf die Funktion des Brunnens als „Quelle des Lebens“ – eine beliebte Thematik des Jugendstils. Der in seiner Bewegung fein ausgearbeitete Junge aus Bronze steht im Kontrast zu dem massiven, hohen steinernen Wasserbecken, das mit Muscheln, Girlanden und einem Widderkopf zurückhaltend verziert ist.
Der Brunnen ist auch über die Kriege bis auf kleinere Schäden erhalten geblieben.
