C’est en 1901 que Monsieur Léon Bergès, parisien fortuné, donne l’ordre pour la construction de deux manoirs au lieu-dit les Gaudimonts sur la commune de Gaillon sur Montcient. Ce n’est pas pour y habiter, mais pour venir en villégiature car avec l’essor du chemin de fer, une gare voit le jour à Meulan. Auparavant une forêt de chasse, l’endroit devient un domaine de repos pour cette famille bourgeoise. L’un des manoirs est destiné au fils Bergès, l’autre à la fille. M. Bergès avait fait part de son goût pour le style normand à l’architecte en charge de la construction, qui a donc conçu ces deux manoirs dans le style anglo-normand en s’inspirant des Grands Hôtels de la côte normande, lieu cher à la famille Bergès. Il fait construire également une petite ferme qui se trouve vers le haut du domaine. La construction s’étale entre 1901 et 1905.
Peu de temps après la fin de la construction, il a été décidé d’agrandir la maison de la fille, en ajoutant des pièces au rez-de-chaussée et au premier étage (la cuisine, un agrandissement du salon, et la chambre 4). Le tableau placé dans l’escalier pourrait représenter Madame Eugenie Bergès.