La structure du moulin est singulière, avec un toit à double pente recouvert d’ardoises, une façade sud-ouest en moëllons de granit et une façade nord-est en pierres de taille. La décoration exceptionnelle, exceptionnelle pour un moulin, désigne cet édifice comme une construction et une propriété de prestige. Les frontons des lucarnes, les modillons en façade et les sculptures des cheminées rappellent le vocabulaire décoratif de la Renaissance et rappellent les lucarnes du bourg de Sarzeau.
Le moulin fonctionnait grâce à la marée, avec des vannes dissimulées qui permettaient à l’eau retenue dans l’étang de couler sur les roues placées dans le sous-sol du bâtiment. En 1380, le duc de Bretagne Jean IV échangea le moulin de Pen Castel contre le moulin des Lices de Vannes, qui appartenait aux moines de Saint-Gildas. Avec la Révolution française en 1789, les moines furent chassés de Pen Castel et l’abbaye fut unie au diocèse de Vannes au XVIIIe siècle. Le moulin connut une première rénovation à cette époque, avant d’être revenu à un particulier qui a construit une partie annexe au XIXe siècle. Le dernier meunier a cessa d’exercer vers 1921, et le site fut classé en 1933.
Au cours des années 1950 et 1960, le moulin est devenu un restaurant célèbre, avant de devenir en 2007 la propriété de la commune d’Arzon. Il est aujourd’hui géré par l’office de tourisme d’Arzon en tant que lieu culturel et artistique.