Le château perché sur un promontoire rocheux a des allures romantiques. À ses pieds, se love une petite ville de pierres, préservée par le temps. Entourée de collines et de bois, la « plus petite ville du monde » semble à l’abri de tout. Son plan en arc de cercle révèle que la rivière la contournait autrefois.

À l’origine, Durbuy est un îlot bien protégé par l’eau, par le château et l’enceinte urbaine qui était longue de près de  550 m. et haute de plus de 6 m. La construction de ce mur de protection est liée à la charte de franchise accordée en 1314 par Jean, comte de Luxembourg et roi de Bohême. Cette charte définissait les droits et les devoirs des nouveaux responsables de la petite cité, hormis le droit de haute justice conservée par le seigneur ou son responsable : le prévôt.

Parmi leurs charges, les bourgeois devaient assurer la sécurité de la ville marchande et exercer la justice courante. C’est l’époque de la construction d’une « maison communale » où siégeaient le bourgmestre et les échevins. Elle sera remplacée au 16ème siècle par un nouveau bâtiment appelé tardivement « la halle aux blés ». Cette dernière est un rarissime et antique pan de bois qui servait également de marché couvert.  La Ville y accueille aujourd’hui des expositions d’art.