Nykyään Palanderin talona tunnetun rakennuksen rakennutti vuonna 1861 tarkka-ampujapataljoonan kapteeni Anselm Grahn. Grahn muutti pian kuitenkin perheineen pois Hämeenlinnasta ja myi talon vuonna 1873 lehtori Magnus Gaddille, jonka aikana rakennuksen julkisivut vuorattiin uusrenessanssityyliin ja maalattiin öljymaalilla. Myös pärekatto korvattiin asfalttihuovalla. Rakennuspiirustukset vuodelta 1875 liittyvät juuri tähän muutostyöhön. Lehtori Gadd rakennutti myös koristeellisen portin ja uuden aidan tontin ympärille. Lehtori E. W. Palanderin aikana talossa toimi myös Hämeen Sanomien kirjapaino ja konttori vuosina 1884–1890. Palanderit muuttivat Helsinkiin vuonna 1904, ja talon seuraava omistaja oli piirilääkäri Karl Johan von Fieandt, jonka perhettä asui talossa aina vuoteen 1968 asti. Osa talosta oli 1920-luvulta lähtien ensin Etelä-Hämeen suojeluskuntapiirin, myöhemmin Hämeenlinnan sotilaspiirin esikunnan omistuksessa. Piharakennukset ovat suojeluskuntapiirin ajalta 1920- ja 1940-luvuilta. Palanderin talo tuli Hämeenlinnan kaupungin omistukseen vuonna 1969. Nykyään siinä toimii Hämeenlinnan kaupungin historiallisen museon kotimuseo Palanderin talo, joka kertoo asumiskulttuurista 1800-luvun Hämeenlinnassa. Portti uusittiin vuoden 1874 piirustusten mukaan vuonna 1994.