Le domaine appartenait au début du XVIIIème siècle à une famille patricienne bernoise du nom de Fels. Il fut acheté en 1755 par Benjamin de Lessert, banquier, originaire de Cossonay, et bourgeois de Genève. C'est lui qui, en 1826, a fait construire le "Temple de l'Amour" au Signal de Bougy, aujourd'hui sur les terres de la fondation Pré-Vert.