La vila de Rialp té el seu origen en el castell enclavat en una eminència situada a la dreta del Noguera Pallaresa, des d’on es controlava el pas cap a la vall d’Àssua i les valls de l’Alt Pallars. En un principi, era una torre o una avançada del castell de Surp, el terme del qual arribava fins al Noguera i al riu de Sant Antoni.
La població, que havia estat closa, encara avui dia conserva l’arcada gòtica del Portal del Torrent de Sant Antoni, per on passava el camí ral de la Ribera (avui carrer del Mig) i una de les torres de defensa anomenada d'en Virós, avui dia convertida en vivenda.
Abans Rialp era un poble de menestrals (gent d'ofici): cadiraires, sastres, llauners, músics, basters, pagesos, fusters,...
Pobles que formen el municipi:
Beraní, Roní, Rodés, Surp, Escàs i Caregue