Cette maison a été dessinée par Dufour, suite à l'achat d'un terrain en 1843, à Contamines, quartier des Eaux-Vives, à Genève. C'est son ami, l'architecte Samuel Vaucher qui va la construire en 1845. Depuis lors, Dufour y vivra pendant 30 ans et y finira ses jours le 14 juillet 1875.

Le photographe Pricam a été envoyé par le roi de Prusse pour photographier la maison. Le Général sortait et le photographe lui dit : "Général ne bougez pas, vous allez manquer la photo". Prise du côté de l'entrée, cette vue souligne le caractère particulier de cette résidence, pourvue au rez-de-chaussée d'un avant-corps maçonné. A l'arrière se développe le corps proprement dit de la construction, au demeurant une minuscule maison de deux travées sur trois seulement "construite avec une certaine économie" comme le reporte Annette, la fille du Général, dans ses Mémoires sur la vie de son père. Elle comportait à l'origine 6 pièces de petites dimensions au rez-de-chaussée et 4 pièces seulement à l'étage, plus les combes.