La première mention de Prilly, du latin Presliacus, date vraisemblablement de 976 : l'Archevêque de Lyon Burcardus cède alors à l'Abbaye de St-Maurice d'Agaune en Valais, une campagne sise " in fine runingorum in villa que vocatur presliacus ".

En 1244, l'évêque de Sion abandonne ses propriétés de Prilly au Chapitre de Lausanne. Différents chanoines se succèdent alors à Prilly, jusqu'à ce que l'évêque Guillaume de Menthonay n'inféode le territoire de Prilly à Jaquet de Penthéréaz en 1389. La seigneurie de Prilly reste entre les mains des héritiers de Jaquet jusqu'en 1482, date à laquelle elle devient la propriété de la famille Gimel.

De 1536 à 1798, Prilly fait partie du bailliage de Lausanne. Entre 1588 et 1589, suite à la Conjuration de Lausanne qui éclate en décembre 1588 contre les Bernois, les droits de la seigneurie de Prilly sont repris par Isbrand de Crousaz.

En 1619, son fils Claude de Crousaz en hérite ; à la mort de celui-ci, Susanne Rosset, fille de feu Claude de Crousaz, devient Dame de Prilly. Le domaine reste entre les mains de la famille Rosset jusqu'en 1728. Elisabeth Rosset, veuve de Benjamin et fille du bailli Samuel Bondely, est alors contrainte de vendre le château et les terrains qui en dépendaient directement.

En 1858, la propriété du Château revient cependant en mains privées, suite à sa vente à Louis-François Emery, originaire d'Etagnières, domicilié à Naples. Quelques temps après sa mort, soit en 1895, ses descendants mettent la propriété en vente.

Mobilisés par Frédéric Mayor, municipal à Prilly, le Dr. Pinard, médecin adjoint à Cery et Charles Strudel, chef d'exploitation du LEB se portent tous trois acquéreurs du domaine. L'affaire est conclue en 1897 : 21 hectares sont achetés, bâtiments compris. Aussitôt, le Dr. Pinard entreprend de transformer le château en clinique pour maladies nerveuses, destinée à une clientèle huppée. Les autres parcelles sont progressivement vendues derrière le Château, le long de la route du Chasseur, de la route de Jougne, ainsi qu'en Floréal. Par leur appât du gain, ces hommes ont non seulement réalisé " un excellent coup ", mais surtout, ils ont attiré à Prilly une certaine classe moyenne, contribuant ainsi à sortir le village de sa réputation miséreuse, et leur vente de ce qui sera plus tard la place du Collège a permis d'asseoir le centre de gravité de la localité.

Ces bâtiments abritent actuellement l'administration communale.