正解

訪れる人が少なくさびれているという時に使うことわざは、

門前雀羅を張る

でした。