Již krátce po vzniku osady Bakova byla na vyvýšeném pahorku v přirozeném středu obce postavena dřevěná kaple Panny Marie. Ta byla roku 1384 přestavena v gotický kamenný kostelík. Původní kaple se nám dochovala jako jeden z výklenků dnešního kostela. První významná (gotická) přestavba se uskutečnila v druhé polovině 16. století. Tehdy byly do kostelní věže zavěšeny zvony a nové hodiny, které měli obyvatelům městečka napříště členit denní dobu, byly prý převezeny ze zvířetického zámku. Po zničujícím požáru 1643 byl kostel v druhé polovině 17. století zásluhou hraběnky Eleonory z Rottalu opraven a opatřen novými zvony.