Phố Hàng Giầy trước thuộc địa phận thôn Cổ Lương thuộc tổng Hậu Túc (sau là tổng Đồng Xuân) huyện Thọ Xương cũ. Thôn này nằm trên bờ Bắc sông Tô Lịch. Vượt qua sông Tô (chỗ Ngõ Gạch) là sang địa phận phường Hà Khẩu. Từ đây đến thôn Hài Tượng mới chính là đoạn Hàng Giầy.
Phố này nguyên là nơi tập trung những người thợ đóng giầy dép vốn gốc làng Chắm (Trúc Lâm, Văn Lâm, Phong Lâm) huyện Gia Lộc, Hải Dương. Họ đã dựng đền thờ tổ nghề da ở chỗ nay là số nhà 16 ngõ Hài Tượng. Cho tới những năm 80 cuối thế kỷ XIX, ở giữa phố Hàng Giầy có một ngôi đền, chỗ số nhà 30. Đây nguyên là đền Nội Miếu của thôn Hải Tượng. Vào năm 1895, những người dân ở phố Hàng Bạc có gốc là người làng Trâu Khê đã mua lại miếu này, sửa sang làm nơi thờ vọng thành hoàng làng Trâu Khê. Cho nên đền phố Hàng Giầy lại thuộc về phố Hàng Bạc.
Thời Pháp thuộc, đoạn phía Bắc (phố Hàng Màn) gọi là phố La-tát (rue Lataste). Đoạn phía Nam (phố Hàng Giầy) gọi là phố Nguyễn Duy Hàn (tuần phủ Thái Bình, bị Phạm Văn Tráng, một chiến sĩ Việt Nam Quang phục Hội ném tạc đạn giết chết tại thị xã Thái Bình ngày 12/4/1913). Sau khi giải phóng Thủ đô, tên phố được gọi chính thức là Hàng Giầy.