L’emblema della località troneggia da un’altura a ovest di Silz. A sud del castello si trova un piccolo stagno. La torre del castello, alta cinque piani e a pianta quadrata, è coronata da una merlatura a sagoma quadrata. Fuori dalle mura del castello si trova la torre Schnitzerturm o Faulturm che era originariamente la sede del Burgravio.

Un tempo possedimento della casa dei Welfen o feudo imperiale e fulcro della contea nell’Oberinntal, il castello di St. Petersberg viene menzionato nelle fonti per la prima volta nel 1090/97 e successivamente nel XII e nel XIII secolo come “Neuhaus”. Oggi il castello ospita il monastero maschile, mentre ai piedi del monte Petersberg si trova il monastero femminile. Il castello è di proprietà privata e può essere visitato soltanto all’esterno.