Stejně jako na všech rožmberských zámcích, obchází i na Vimperku bílá paní. Jednou si děti pozdě večer hrály v Hájíčku, což býval malý lesík pod zámkem, a ty ji spatřily. Přes hlavu měla bílý závoj a u pasu jí visel veliký svazek klíčů. Vždy se však vyskytovala v místech zcela nepřístupných, protože mohla plout povětřím z kamene na kámen. To vše dosvědčovali i dospělí obyvatelé města.