Op de plek van de huidige Kalvertoren aan de Heiligeweg stond eeuwenlang de eerste moderne gevangenis, het Rasphuis. Hier werden van 1589 tot 1815 mannelijke criminelen gevangen gezet en ‘heropgevoed’. En van 1896 tot 1988 bevond zich hier het eerste overdekte zwembad van Amsterdam, het Heiligewegbad.