La Specola di Costozza, posta al vertice del colle Serraglio, ove l'orizzonte si allarga sulla parte orientale di pianura da monte Berico fino agli Euganei, consente di apprezzare facilmente il profilo di una vicina Padova e dei paesi adiacenti.
Le secolari battaglie tra vicentini e padovani si svolsero spesso in questa porzione di territorio, teatro di lunghe e feroci contese, tanto da far dire a Dante che il sangue dei combattenti colorava le paludi formate dal Bacchiglione.
Due furono gli elementi che portarono agli scontri in questi luoghi: la presenza della famosa rosta per deviare il corso delle acque e il covolo di Costozza, magazzino della vicina città, ricco di derrate alimentari in grado di sfamare qualsiasi esercito.
In tempo medievale il borgo era murato e fortificato, ma a nord poteva contare solo sulla naturale protezione delle ampie e ripide pendici della collina.
Dalla sua sommità si poteva scorgere facilmente ogni manipolo di cavalieri in avvicinamento per il frastuono e il polverone prodotti, e, data la frequenza degli eventi bellici, un semplice ma efficace presidio di vigilanza locale era in grado di lanciare un allarme. In effetti la posizione strategica si combinava opportunamente con le opere militari adiacenti: la più massiccia roccaforte del luogo, completata e irrobustita dall'intervento di Gian Galeazzo Visconti alla fine del trecento, si trovava ai piedi di quel colle. Le sue vestigia, rilevate anche dal Maccà, venivano chiamate le Bastie o i Torrioni. Per chi sorvegliava l'orizzonte dall'alto, erano in tutta prossimità e sulla stessa linea delle terre patavine. La necessità di un posto di vedetta può giustificare l'eventuale innalzamento in epoca medioevale di un edificio sulla cima del colle con quella funzione, ma non vi sono ancora tracce archeologiche o documentarie né di una simile costruzione, né tantomeno dell'appellativo di Specola, anche nel senso più generico di luogo elevato adatto all'osservazione.
Con l'arrivo della Serenissima e venuto a mancare il ruolo strategico, i fabbricati di questo tipo furono abbandonati, le loro macerie usate come materiale da riutilizzo, senza lasciare alcun segno della loro presenza, come è avvenuto per le fortificazioni del piano, vicino all'acqua e alla rosta.
Solo qualche decennio dopo i Trento acquisirono il colle, costituito da "terra arativa e zappativa, piantà di olivari" a causa del vertice roccioso. Vi portarono alberi da frutto, ed espansero la coltura della vite trasformandolo in "vindegà". Sempre molto attenti alle opere murarie, anche a quelle dei confini perimetrali, i vari carteggi non fanno alcun riferimento a manufatti importanti come una casa o un edificio turrito presente in quella sede, e alla fine del 500, quando Galileo Galilei venne ospitato da Camillo Trento, in quel luogo vi erano forse solo tracce di precedenti fabbricati, dismessi e non certo così alti da elevarsi dal terreno circostante, per poter essere utilizzati anche come luogo di osservazione.
L'illustre scienziato giunse a Costozza a ventinove anni, nel 1593, da pochi mesi approdato all'Università di Padova. Accompagnato da comuni amici, forse a piedi a causa delle sue scarse finanze, dovette impiegare buona parte del giorno per arrivare al borgo. Da quanto viene riferito dai suoi biografi, ebbe una cattiva esperienza dei ventidotti e del fresco artificiale, che non lo entusiasmarono e lo indussero a non trattenersi molto più a lungo dello stretto necessario. Con un soggiorno così breve non ebbe certo il tempo materiale per andare in cima alla collina per compiere le sue osservazioni notturne: per una verifica astronomica è necessaria una continuità con successivi controlli ripetitivi. Se vi andò, non fece annotazioni che avrebbero richiesto un suo ritorno e Galileo venne a Costozza solo una volta e cominciò a interessarsi agli astri qualche anno dopo, quando comparve la "stella nuova", un faro nel cielo notturno dell'epoca con una luminosità maggiore di Venere. Forse non poteva contare neppure su una torre o una struttura muraria, di cui si ha certezza solo dalla seconda metà dell'ottocento, anche tenendo validi i presupposti precedenti di una sua eventuale presenza.
Nelle sue varie visite a Costozza a cavallo tra il XVIII e XIX secolo, il Maccà, sempre molto attento alle antiche vestigia, segnala i ruderi di una villa d'epoca romana in località Giaroni, verso Lumignano, le tracce delle mura del castello del Comune da lui viste nella piazza del paese, le generose e possenti fondamenta alle basi di due Bastie o fortezze poste ai lati del Bisatto, ma non fa alcun cenno a un torrione, che avrebbe dovuto svettare solitario e ben visibile in cima al colle.
Una mappa del 1804 disegna in quel luogo una doppia fila di alberi a impianto circolare come per un roccolo da caccia, ma privo di un edificio centrale.
Il 9 aprile del 1853 nei carteggi vi è l'annotazione dell'intervento di un falegname per porre un pezzo di una tavola di albero nella casa del (colle) Serraglio. Dalle poche e scarne righe si comprende come l'intervento sia stato un rabberciamento, di scarsa qualità e dal costo economico, di un manufatto, che era già presente e funzionale, ma in quel momento non valeva un investimento maggiore. Le supposizioni sono molteplici e per ora senza una chiara risposta.
Tuttavia, vent'anni dopo, il 22 ottobre del 1876 si registra un netto salto di qualità, grazie all'intervento di posa in opera di sei balaustre forgiate in ferro per la scala della specula da parte del fabbro Francesco Vendramin e puntualmente registrate dall'agenzia Arenberg. La realizzazione appare ormai avviata a conclusione grazie all'apporto di elementi accessori di rifinitura finale, utili a migliorarne il confort d'uso e finalmente compare per la prima volta il nome con cui è nota, che indica un luogo elevato adatto all'osservazione astronomica: è un indiretto e spontaneo riferimento a Galileo, al suo interesse per il movimento dei corpi celesti e alle molte notti trascorse alla loro contemplazione per comprenderne la fisica. Richiama inoltre l'omonima e ben più famosa torre di Padova, trasformata in osservatorio alla fine del settecento per decreto del Senato Veneziano a uso Universitario. Da allora, oltre un secolo dopo la morte dello scienziato pisano, quell'edificio venne chiamato Specola, mentre quello costozzano ha dovuto attendere ancora un altro centinaio di anni per avere lo stesso nome.
Nel 1877, l'agente Giuseppe Stefanelli, registra in uno dei suoi quasi quotidiani rapporti sulla situazione dei beni e narra come i vicini ...i Nob. Conti da Schio hanno grandi filari di viti, ed anche hanno costruito una torre simile a quella della padrona e hanno fatto grandi lavori... Significa che in quell'anno il manufatto era ormai concluso e rispondente a quelle che erano le attese.
Qualche decennio dopo venne scattata anche la prima fotografia, a cavallo tra il XIX e XX secolo. In essa in primo piano compaiono un cane san Bernardo, tre signore in abiti campagnoli e due baldi e baffuti giovanotti che posano rigidamente, circondati dai filari di vite ben allineati, zappati e sostenuti da lunghi e robusti piantoni di legno.
Alle loro spalle fa da cornice all'immagine l'intero manufatto, ostentando l'ornamento dei pregevoli manufatti in pietra della sua facciata sud. La scala esterna è impreziosita dalla sopracitata ringhiera in ferro, caratterizzata dai numerosi archetti decorativi. Tuttavia gli elementi di pregio non nascondono i numerosi segni del disuso: sia le finestre murate con ampie spaccature e rabberciamenti, sia la porta principale a piano terra molto compromessa, sono i sintomi dell'inutilizzo e della dismissione. Sarà una continua lotta tra il desiderio di conservare e l'aggressione del distruggere.
Non è visibile nell'immagine, ma in quegli anni venne posta sull'architrave d'ingresso una lapide, che ricordava una composizione di un anonimo autore di fine settecento "chi vuol dell'opra sua far pago ognuno, sé stesso offende e non contenta alcuno". Motto quanto mai valido ancor oggi.
Quindici anni fa, per eventi atmosferici, nelle sue vicinanze cadde un antico cipresso. Aveva ben più di cinquecento anni: segnalato dal WWF, visitato spesso dai bimbi, di certo presente in quel luogo fin dai tempi in cui lo scienziato fu a Costozza, per tutti era "il cipresso di Galileo".