Léta Páně 1676 vyšla zpráva, že Panna Maria Nezamyslická byla před tím uctívána v templářském klášteru, který se kdysi rozkládal poblíž nezamyslického kostela. Jeho základy možno spatřit dosud. Po zániku rytířů pak byla přenesena vedle do výše řečeného chrámu Nanebevzetí Panny Marie.