县因精河得名。精，据《西域同文志》，系“准语”，“蒸甑”之意。唐代称石漆河，《西域图志》作晶河。“晶”为蒙古语，意为“清凉”。清代光绪年间改称精河。
精河县境在秦末为塞种人游牧地，西汉时期先后为月氏和乌孙游牧地，魏属悦般、柔然和西突厥牧地。
唐贞观二十三年（649年）唐朝在西突厥地区凤瑶池都督府，精河属瑶池都督府管辖。宋属喀喇汗（黑汗）王朝管辖。元属阿力麻里行中书省管辖。明永乐十六年（1418年），瓦剌人入主察台后王领地亦力巴里等地区精河属瓦剌人管辖。
清乾隆二十四年（1759年），清政府在精河东岸筑安阜城，设典史一名，隶乌鲁木齐都统管辖。 清乾隆三十六年（1771年），蒙古族土尔扈特部自伏尔加河流域回归祖国后，其中一部西路旧土尔扈特约400户近3000人，被安置于精河放牧。
清乾隆四十八年（1783年），清政府又于城东二里处筑一新城，仍称安阜城，并改典史为粮同，隶镇迪道。 清光绪十四年（1888年），设精河抚民直隶厅，简称精河厅，隶伊塔道。精河厅的境城包括今博尔塔拉蒙古自治州所辖的范围。
民国2年（1913年）4月，精河厅改设精河县。
民国9年（1920年）10月，博尔塔拉从精河县析出，成立博乐县。 民国33年（1944年）三区（伊犁、塔城、阿山）革命爆发。
民国 34年（1945年），成立三区革命精河县政府，属伊犁三区临时政府领导。
1949年9月新疆和平解放后，精河县改属伊犁专署领导。
1950年1月上旬，中国人民解放军第一野战军一兵团六军工兵团团部和所属二营进驻精河县，一面开荒种地，一面帮助地方建立共产党组织和人民政权。从此，县党委成为精河县各项事业的领导核心，劳动人民成了国家的主人，这是精河县有史以来的伟大历史转折。
1954年7月，博尔塔拉自治区成立（1955年2月改称自治州），精河县改属博尔塔拉蒙古族自治区（州）领导。
1988年，精河县直辖3个乡、2个镇、3个国营农牧场，境内还驻有新疆生产建设兵团农五师所属八十二团场、八十三团场、九十一团场。
新疆第一条电气化铁路精伊霍铁路主控性工程——北天山隧道于2008年5月31日全面贯通。精伊霍铁路东起精河车站，西至中国和哈萨克斯坦边境口岸霍尔果斯。北天山隧道全长13.6公里。
