東京都港区の西南端に位置する。西部で渋谷区恵比寿・品川区上大崎・東五反田に隣接し、東部で高輪に、北部で白金にそれぞれ接する。目黒通りと外苑西通り・桜田通り(国道1号)沿いには商店・マンションが点在し、町内には、歴史的建造物が所在する明治学院がある。
かつてはごく普通の庶民の住宅街だったが、バブル景気後半頃より洒落たレストランやカフェ、ブティックが目立ち始め、それらに伴い高級マンションが建つようになり、近年は高所得の住民も住むようになった。その一部の女性住民が「シロガネーゼ」と呼ばれることもある。