Eine Sage berichtet, dass in der Burg einst drei liderliche Brüder hausten, rechte Raufbolde und Leuteschinder, die ihre leibeigenen Bauern geradezu unmenschlich behandelten.
Eines Tages ritten sie nach Stubenberg und entwendeten dem Pfarrer ein Fässchen Messwein. Als bald darauf der Ostersonntag kam und die Leute in die Kirche gingen, blieben die drei Gesellen im Rittersaal zurück, wo sie trinkend, schmausend und gottlose Reden führend den geraubten Wein austranken. Völlig betrunken torkelten sie dann in den Burghof hinab, um den Zwingerhunden den Rest des geweihten Osterfleisches vorzuwerfen.
In dem Augenblick, als die Glocken von Stubenberg zur Wandlung läuteten, erbebte plötzlich die Burg in ihren Grundfesten und ein Blitzstrahl aus heiterem Himmel schlug in den Bergfried ein, tötete die drei Brüder und setzte die Burg in Flammen. Und niemand wagte es, sie wieder aufzubauen.
Bildliche Darstellungen der Sage:
Gasthof „Peterwirt“ in Stubenberg am See
Gasthof „Stixpeter“ in Unterfeistritz