Ortodoksinen Pyhän Aleksanteri Nevskin sotilaskirkko valmistui vuonna 1900 Pikkutorille kaupungin keskustan länsireunalle. Kirkkoa varten tilattiin kymmenen kelloa Pietarista. Kellot valettiin enimmäkseen kuparista, jota saatiin armeijan käytöstä poistetusta metalliromusta. Kellojen pinnat koristettiin ornamenteilla, ikoneilla ja psalmien säkeillä. Kelloihin merkittiin myös valimon nimi ja kellon paino. Kirkonkellojen siunaus ja nosto kellotorniin tapahtui keväällä 1900, ja kirkkorakennus vihittiin käyttöön 22. lokakuuta samana vuonna. Itsenäistymisen jälkeen rakennus jäi valtion haltuun. Yhtenä vaihtoehtona oli kirkon muuttaminen luterilaiseksi varuskuntakirkoksi, mutta lopulta vuonna 1924 täydellisesti muuttuneessa rakennuksessa avattiin Hämeenlinnan kaupunginkirjasto. Vuosina 1922–1923 valtio myi ja luovutti ortodoksisen kirkon kelloja mm. Vesilahden, Tyrvään, Sundin ja Tervon luterilaisille seurakunnille.