Édifié sur un éperon rocheux en 1049 par Adalbert II de Grandson, le Château de La Sarraz domine depuis neuf siècles le défilé du Mormont, véritable clé de passage, au Moyen Âge, entre la France et l'Italie. Au fil des siècles, le château a subi plusieurs transformations et réfections qui lui ont conféré son aspect actuel.

Nombreux sont les châtelains qui se sont succédé à la tête de la forteresse du milieu du monde. Tous sont des descendants directs ou alliés des seigneurs de Grandson.
C'est au dernier châtelain, Henri de Mandrot, que l'on doit la création du Musée Romand en 1911 et à son épouse, Hélène, la création de la Maison des artistes.

La ville de la Sarraz se situe à la limite du partage des eaux : les eaux du Nozon coulent à la fois dans la Mer du Nord et la Mer Méditerranée. Le point de séparation des eaux, une ancienne déviation créée par l'homme, a été baptisé « le Milieu du monde ».