Le château a été construit de 1629 à 1648. Les panneaux de boiseries de la salle à manger décorent actuellement la bibliothèque du château de Mézery, et il semble que les premiers meubles se trouvent au château de Prangins. Selon certains récits, il existait des souterrains depuis le château dont l'un servait de refuge et débouchait dans le profond ravin de la Bressonne, où sont encore visibles les ruines du moulin de Rouveny. Plus tard, le château abrita un café, fermé en 1965. L'équipe à Jean-Michel Cravanzola l'occupa dès 1976 jusqu'à la fin des années 80. Depuis 1998 il est transformé en EMS, portant le nom de « La Colombière », et accueille 17 pensionnaires.