A vetusta aldeia de Vila do touro encontra-se implantada a 800 m de altitude, entre dois outeiros: o Cabeço de S. Gens e o Alto do Castelo.
Integra-se numa região de terrenos graníticos, de relevo suave, onde apenas estes dois relevos destacam na paisagem. Deduzimos que a região já era denominada por Tauro na época romana, a partir da referência numa epígrafe encontrada próximo à Abitureira. Este topónimo advém da configuração topográfica elevada dos dois morros da Vila.
A sua posição estratégica permite um amplo campo de visão para norte e poente, ao longo do vale da ribeira do Boi e para nascente, para a meseta e vale do Côa.
A sua localização numa região com abundantes linhas de água e com diversos terrenos irrigados e férteis, ao mesmo tempo, protegida pelos relevos circundantes, permitiu que uma diversidade de comunidades aqui se estabelecesse, desde a Pré-história até aos nossos dias.
Identificam-se alguns vestígios da presença destas culturas. No local foi descoberto um machado de bronze, da Idade do Bronze Final, e é provável que no alto do Castelo tenha existido um povoado que recue a esse período, com continuidade na Idade do Ferro. Nos terrenos do morro identificam-se algumas cerâmicas manuais de tradição antiga. Outros vestígios poderão ter sido arrasados pelas construções militares medievais.
Conhecemos dois lugares próximos de Vila do Touro com testemunhos de ocupação romana: os Vilares e a Abitureira. No primeiro lugar são identificados abundantes materiais romanos. As inscrições encontradas no Baraçal e na própria Vila do Touro podem ter vindo desta estação arqueológica. Na Abitureira foi encontrada uma inscrição descontextualizada que poderá provir dum lugar ainda ignorado.
Na época da reconquista a região sofre também o mesmo processo de reordenamento do espaço e da população de todo o Alto Côa. As necessidades militares obrigaram à reocupação do alto dos relevos.
As origens da aldeia recuam ao século XII. Por volta desta altura, a reconquista do território estava já bastante avançada, e agora havia que se defender do inimigo leonês. A nossa progressão, não suscitou a sua aprovação e a região de Touro situava-se na zona instável de fronteira.
Houve então necessidade de definir uma fronteira, de manter o controlo constante dessa linha e de criar uma zona-tampão frente a Leão e Castela. E ela foi-se delineando com os castelos da Guarda. As fortificações de Touro e de Castelo Mendo surgiriam, num segundo esforço, alguns anos mais tarde. Contrapondo à política de Leão e Castela de criar uma raia fronteiriça, apoiada em vilas fortificadas a oeste, além do Côa, nomeadamente com o início da construção da fortaleza de Caria Talaya (Ruvina), do outro lado do Côa (lugar visível à distância do cimo do cabeço de Touro), Portugal tomou o empreendimento de edificar uma fortificação ciscodana, retirando para o seu termo parte do território da Guarda.
Nasce assim um castelo no cabeço de Tauro, que nunca terá sido totalmente acabado. Desta construção militar, hoje, resta apenas parte do pano de muralha, encavalitado entre as penedias, podendo no entanto, pelos alicerces, ser identificado todo o seu traçado. Uma das portas da muralha ainda é visível, com arco em estilo gótico.
A escolha do local deveu-se sobretudo a questões militares, de modo a garantir as condições mínimas de segurança e defesa do território. Do cimo do morro descortina-se um vasto horizonte, avistando-se mesmo a cidade da Guarda.
A jurisdição desta Vila foi doada pelo Concelho da Guarda aos Templários. D. Pedro Alvites, Mestre dos Templários reforça esta medida concedendo-lhe foral, em 1220, no tempo de D. Afonso II. Vila do Touro torna-se então um importante centro de hierarquia populacional, ganhando importantes funções político-militares, tendo sido sede dum importante concelho medieval que perdurou até às reformas liberais do século XIX (1836).
Deste período datam as inúmeras sepulturas escavadas na rocha encontradas na freguesia. Havia um importante núcleo em torno do adro da igreja Paroquial que hoje se encontra coberto. Nos Vilares são identificadas também algumas sepulturas escavadas na rocha, tal como junto à Fonte do Carvalho; próximo do lavadouro da “Fontinha” e na Junta das Águas.
Com a assinatura do Tratado de Alcanizes com Castela e Leão, (1297) por D. Dinis, Vila do touro deixa de ter um cunho fronteiriço e perde a sua importância estratégica. Tal como ocorreu em Caria Talaya, a construção do seu castelo não foi concluída. A fortificação nunca mais volta a sofrer qualquer reconstrução ou reparação importante. D. Dinis, nem sequer lhe outorga a confirmação do foral.
D. Manuel intenta dar um novo movimento de restauração com a concessão de novo foral em 1510, de forma a motivar o desenvolvimento económico local. O pelourinho data desse período, bem como muitas das actuais casas de pedra. São abundantes as janelas manuelinas com arco conupial que se identificam pelo casario antigo da aldeia e que provam o dinamismo do século XVI.
Em Vila do Touro ainda se identificam outros testemunhos patrimoniais de interesse: o pelourinho medieval e a fonte gótica de Paio Gomes, o edifício dos Paços do Concelho, a cadeia e o antigo edifício das Repartições, a Igreja Matriz do século XVI e a Capela-Mor da Igreja Matriz (século XVII).