Estereotipos: "¡Que te va a llevar el gitano!"

Estando con mi padre un día en el mercadillo, un señor le estaba diciendo a su nieto -para que no se perdiera-: "que te va a llevar el gitano, que te va a llevar el gitano...". Y sé que es una expresión pero creo que son palabras que están fuera de lugar y no me sentaron bien.