Du solltest Dich keinesfalls wehren.
Hier liegt lediglich ein problem mit der Kommunikation vor. Er will offensichtlich mit Dir in einer Sprache kommunizieren, die Du im wesentlichen nicht verstehst. In solchen Fällen sucht man sich jemanden als Dolmetscher, der diese überaktive Körpersprache besonders gut kann.
Dann geht ihr zusammen zu diesem Typ und Du bittest Deinen Dolmetscher um Übersetzung der Frage: "Was möchtest Du eigentlich von mir?" Die Übersetzung funktioniert ungefähr so: Dein Dolmetscher fasst den Typ sanft aber energisch mit seinen beiden Händen an die Schulter und stösst seinen Kopf leicht an dessen Kopf. Das sieht so aus, als ob der andere davon Kopfschmerzen bekommt, aber in Wirklichkeit versteht er ganz gut und ist nur überrascht, dass da jemand in seiner Sprache mit ihm reden kann. Er wird jedoch so überrascht sein, dass er sich auf seinen Hintern setzt.
Wenn er jetzt versucht aufzustehen und wütend zu werden (achte auf seine Gesichtsfarbe! (rötlich=wütend, grau=ich glaube, ich verstehe, blassgelb=danke, ich habe verstanden)
Wenn der vorherrschende Ton nicht rötlich ist, kannst Du mit Deinem Dolmetscher den Platz verlassen: Alles in Ordnung ab sofort.
Wenn der Farbton eher rötlich ist, bittest Du Deinen Dolmetscher, es doch mal mit einem anderen Dialekt zu versuchen. Der Dolmetscher wird dann wahrscheinlich abwarten, bis der andere aufgestanden ist, dann wird er wieder an ihn herantreten, sehr nahe, wird seine Hände wieder schnell und energisch auf die Schultern dieses Neanderthalers legen und gleichzeitig sein Knie enschlossen nach oben Richtung Nase bewegen. Dieses Knie wird, noch ehe es die Nase erreicht, zwischen den Beinen deines Freundes gestoppt werden.
Er wird daraufhin eine nette freundliche Verbeugung machen, seine Hände zwischen die Beine pressen und leicht gurgelnd etwas sagen. Das heißt übrigens übersetzt: "Entschuldige bitte, dass ich Deine Sprache nicht spreche".
Dein Dollmetscher wird ihm jetzt noch auf die eine oder andere Art sagen, ok, vielen Dank für das Gespräch. Ich möchte, dass Du ihn künftig erst wieder ansprichst, wenn Du ein paar Vokabeln aus dem Duden gelernt hast.
Du wirst sehen, das wird sehr hilfreich sein. Bei ganz hartnäckigen Sprachstörungen solltest Du den Dollmetscher ruhig öfter um Hilfe bitten.