到了19世纪，巴伐利亚国王路易二世对此地美景情有独钟就买下此岛。他在岛上按照法国凡尔赛宫的宫殿模样建造了海伦基姆宫，王宫中最辉煌的要数长达百米的镜厅，竟比凡尔赛宫里的镜厅还要大。

后来男人岛成了纳粹头目希特勒的秘密休假和会客场所。据说希特勒第一次到岛上，就被海伦基姆宫的宏伟气派迷住，这正好符合希特勒极尽奢华的本性。于是他下令赶走修士们，并将宫殿占为己有。希特勒还听信占星师的“忠告”，要他不要带女性入岛，以此保证“第三帝国”的平安。不过如今的男人岛早已对所有游客开放，这里到处可见笑容可掬的女性游客：她们或独自领略着岛上的人文风情，或与男友拉手漫步于林荫小道。