Si pensa che la frase abbia avuto origine negli Stati Uniti nel 19° secolo, quando gli sceriffi erano funzionari eletti responsabili delle forze dell'ordine nelle rispettive contee. Quando veniva eletto un nuovo sceriffo, spesso coinvolgevano i propri vice e apportavano modifiche al modo in cui venivano svolte le forze dell'ordine. Ciò potrebbe portare a cambiamenti significativi nella comunità locale, poiché il nuovo sceriffo potrebbe avere un approccio diverso nei confronti delle forze dell’ordine o potrebbe dare priorità a questioni diverse rispetto al precedente sceriffo.
Nel corso del tempo, la frase "un nuovo sceriffo in città" è stata utilizzata in modo più ampio per riferirsi a qualsiasi nuova persona in una posizione di autorità che apporta cambiamenti o ha un impatto significativo sulla propria area. Ora è comunemente usato in una varietà di contesti, come la politica, gli affari e lo sport.