Il castello Tramontano è situato su una collinetta, chiamata collina di Lapillo, sovrastante il centro storico della città di Matera.
In stile aragonese, il castello, con un maschio centrale e due torri laterali più basse, l'uno e le altre rotonde, smerlate e dotate di feritoie, fu fatto costruire a partire dal 1501 dal conte Giovan Carlo Tramontano, feudatario di Matera. Il nuovo re di Napoli, Ferdinando II, aveva promesso ai materani di non cedere più la città ad alcun feudatario, dopo che questa si era già liberata più volte dal giogo feudale pagando diversi riscatti per restare città libera ad autonomo reggimento, cioè dipendente direttamente dalla Corona reale. Invece il conte Tramontano, che vantava crediti nei confronti dell'Erario reale, chiese ed ottenne la contea di Matera nel 1496.
Il conte si rese presto inviso ai materani in quanto con il passare del tempo si riempì di debiti, per far fronte ai quali tassava la popolazione con gravose imposte. Cominciò così la costruzione del castello, che era situato su una collina dominante la città, al di fuori delle mura cittadine, con lo scopo di controllo "feudale" dei terreni circostanti più che di difesa della città stessa.