Et bien, la seule solution, c'est de lui dire clairement:
Chéri, il y a un problème, on doit en parler, donc, tu viens ce soir ou tu te débrouilles pour qu'on se voit rapidement et en parler, on ne peut pas rester dans le silence.
S'il refuse, tu le laisses dans son coin et ne le contacte plus.
S'il accepte, tu lui expliques calmement (j'insiste sur le calmement et posément) sans l'accuser directement, que tu as eu peur de sa réaction, le sachant jaloux, et que c'est pour cela que tu as baissé le son, et que si cette personne t'appelait, c'était par rapport à un service que tu lui avais rendu.
Ensuite, j'ai envie de dire que le problème n'est pas tant que tu te sois "isolée" pour répondre mais plutôt que tu aies eu le réflexe de le faire alors que tu n'as rien à te reprocher.
Le silence n'arrangera rien, soit il sort de son comportement adolescent et vous en parlez, soit votre histoire n'ira pas bien loin.