Přímo uprostřed města leží působivý dřívější klášter Všech svatých. Benediktíni, paulíni a řeholní kanovníci byli jeho dřívějšími obyvately. V době reformace sloužil klášter světským účelům. Klášterní kostel, největší románská stavba ve Švýcarsku, je evangelický farní kostel, ostatní zařízení slouží jako muzeum Všech svatých a tradiční místo vědění, kultury a setkání.
Stálé výstavy na témata regionální archeologie, dřívější vyspělé kultury, kulturní historie města Schaffhausen, švýcarské umění, regionální přírodní historie a ptačí exponáty činí toto muzeum největším univerzálním muzeem ve Švýcarsku. Pravidelně se střídající zvláštní výstavy dokreslují angažovaný konzept tohoto muzea.