Das heutige Alterszentrum wurde um 1400 als Kloster im gotischen Stil neu erbaut, nachdem das ursprüngliche Gebäude Jahre zuvor beinahe komplett niedergebrannt war. Aufzeichnungen zeigen, dass das Kloster bereits im Jahr 1092 existierte. Genaueres aus der Zeit der Erbauung weiss man jedoch nicht.

Nach der Reformation und der anschliessenden Aufhebung des Klosters Sankt Agnes beschloss der Rat das Spital im heutigen Posthof in die Gebäude des Nonnenklosters zu verlegen. Nach wenigen baulichen Anpassungen wurde die Übersiedlung des Spitals in das Kloster im Jahre 1542 vollzogen. Die umfunktionierten Gebäude dienten nun in Folge als Armenhaus, Pfrundhaus, Waisenhaus, Zuchthaus und als Versorgungsanstalt für Geisteskranke, bis 1936 die Stadt das Spital übernahm und es als Altersheim umbaute.

2015 wurde das Altersheim am Kirchhofplatz in Alterszentrum Kirchhofplatz umbenannt.