胡乐镇在宁国市的西南部，东与浙江省临安市交接，南与绩溪县相连，西与旌德县相接，北与甲路镇近邻。S215、S323省道和岛鸿公路在境内鸿门村相交，皖赣铁路贯穿全境。镇驻地胡乐司离宁国市区45公里，离黄山市80公里，交通十分便捷。