浚县伾山是中国文献记载最早的名山之一，商周时，浚地称黎，山称黎山。西汉初，朝廷于黎山脚下、黄河之滨置县，“县取山之名，取水在其阳”，因称黎阳，山亦名黎阳山。

东汉初年，刘秀在山巅筑青坛祭告天地，遂赐名“青坛山”。明初，俗称浚县东山。金代明昌以前，大伾山为黄河转折点，黎阳津（又名黎阳关，对岸为白马津）为黄河重要渡口。黎阳县城“凭山为基，东阻于河”。因为“山阻河险”，这里成为兵家必争之地。