V průběhu let začaly kolovat příběhy o opuštěném městě a stalo se známé jako „město duchů“ nebo „město duchů Avilla“. Lidé, kteří město navštívili, hlásili, že viděli podivná světla a slyšeli strašidelné šepoty. Někteří dokonce tvrdili, že viděli zjevení zesnulých osadníků putujících ulicemi. Město získalo pověst strašidelného a mnoho lidí se mu vyhýbalo ze strachu, že se setkají s duchy mrtvých.
Jak čas plynul, město začalo pomalu chátrat a budovy chátraly. Legenda o městě duchů Avilla však přetrvala a stalo se oblíbeným cílem lovců duchů a paranormálních nadšenců. V posledních letech bylo vynaloženo úsilí na zachování historie města a restaurování některých budov. Navzdory těmto snahám zůstává město tajemným a děsivým místem a legenda o přízracích Avilly nepřestává uchvacovat představivost těch, kteří se odváží navštívit.