たとえば、あなたの正面にあるスピーカーから音が出ているとします。このとき、この音は両耳に同じ音量で届きます。
では、右前方にスピーカーがあるときはどうなるでしょう。スピーカーからの距離は左耳より右耳の方が近いので、そのぶん音量は大きくなりますね。このとき脳は、左右2つの耳に届く音のわずかな音量の差を比べて、大きい方にスピーカーがあると判断しています。
つまり、1つの音が両耳に同じ音量で聞こえていると、正面に音の方向を感じて、左右に音量の差があると、大きい方に音の方向を感じる仕組みになっています。左右のイヤホンで聴く音楽のボーカリストが、眉間の真ん中あたりで歌っているように感じるのはこのためです。
ミキサーについているPANはこの仕組みを利用して、LとRのスピーカーに音量差をつけることで、音が左や右から聞こえるようになります。

あなたの右前方にスピーカーがあるとき、右耳の方が左耳よりスピーカーが近いので、そのぶん音が耳に届くタイミングも早くなります。このとき脳は、左右2つの耳に届くわずかな到達時間の差を比べて、音が早く到達する方に音源があると判断します。
耳は左右についているので左右の方向感に対して特に敏感ですが、上下や前後の方向も同じように判断することができます。

音の方向を判断するとき、音量差と時間差のほかに、耳や頭の形も関係しています。
真正面からの音と真後ろからの音は、どちらも両耳への距離は同じですが、方向の違いを区別することができますよね。これはなぜかというと、耳や頭の形、顔の凹凸など自分の形による音質の違いを脳が記憶して、その経験から音の方向を判断しているからです。
たとえば、真正面で鳴っている音はほぼ直接耳に入るのに対して、真後ろで鳴っている音は頭の形に沿って耳をまわりこんでから聞こえます。この聞こえ方の違いから、正面で鳴っている音なのか後ろで鳴っている音なのか判断できるということです。このような耳や頭の形による音響特性を、「頭部伝達関数」といいます。この特性は正面や後ろの水平方向だけでなく、耳の上や下といった上下方向にもあります。
頭部伝達関数を応用したものに、音が頭の周りを360度囲むように聴こえるバイノーラルの技術などがあります。