Dès la canonisation de Louis IX - devenu saint Louis - le roi Philippe IV le bel décide de fonder un prieuré royal dans la cité natale de son grand-père et près de l'église de son baptême. L'édification de bâtiments destinés à plus de cent religieuses (des jeunes filles de la noblesse, certaines de sang royal) et la construction d'une église ayant les dimensions d'une cathédrale se fait le long des murailles ouest de la ville. C'est un chantier gigantesque qui dure plusieurs années.
Le domaine s'étend sur 28 hectares, de la seine à la colline. La charte de fondation est datée de juillet 1304, au moment de l'arrivée des premières dominicaines.
Copyright Gallica
Au cours de son existence, le prieuré est le théâtre de visites royales et de cérémonies laïques. En 1561, son réfectoire, la salle la plus grande du royaume, reçoit la Cour, les prélats catholiques et les ministres protestants, pour quatre séances de l'assemblée connue sous le nom de "Colloque de Poissy".
A la Révolution, les religieuses sont chassées et le domaine est démembré. Il ne reste aujourd'hui, de cet ensemble, que les tours de la Porterie (qui abritent depuis 1976 le Musée du Jouet), le bâtiment de la Grange, plusieurs centaines de mètres de murailles et quelques tourelles, ainsi que des objets répartis dans les musées et les collections particulières.