Perroy est un château de transition, entre le Moyen Age et la Renaissance. Imposant avec ses trois tours carrées, son architecture asymétrique, le château ne manque pas de cachet. On cite déjà au XIIIè siècle, une famille de Perroy, dépendant des seigneurs de Rolle, et qui habitait probablement l'ancien château féodal. Ce château féodal fut brûlé lors de la Conquête du Pays de Vaud par les Bernois. Après plusieurs changements de propriétaires, le 14 janvier 1723, le domaine fut acheté par le général Karl de Hackbrett, de Kehrsatz. Commença alors la période bernoise en ces lieux.

Karl Hackbrett (1674-1737) fit carrière jusqu'en 1693 dans les armées du roi de Piémont-Sardaigne. Il fut ensuite membre du Conseil des Deux-Cents (1710), commandant de la place de Baden (1712), puis bailli à Lausanne (1732). Passionné d'agriculture, il améliora considérablement le domaine et le manoir. Il fit construire l'orangerie et dressa les jardins «à la française».

Depuis le milieu du XlXe siècle, le château est dans les mains de la Famille Lagier et de ses descendants dont l'actuelle propriétaire, Madame Simone Borel-Saladin. Ses enfants et petits-enfants, dispersés aux quatre coins du monde, se retrouvent périodiquement au Château, notamment lors des vendanges.

Extraits tiré du livre "La Côte en long et en large"