图木舒克历史悠久，早在公元75年，东汉政府派班超率吏士36人赴西域，曾在图木舒克山麓唐王城驻守17年。该地四面环山，地势险要，是历代兵家常争之地，也是从北向南古“丝绸之路”必经要道。当时喀什噶尔河从这里流过，此地风景优美，物产丰富，人丁兴旺，是一座繁华的西域“城廓之国”。唐王城是东汉政府当时在西域设立的唯一据点，至今尚有大片屯田的遗迹。
　　 解放后，1950年5月，巴楚县第一届人民代表大会决定全县设6区42个乡，图木舒克区为三区。1955年调整行政区划，将唐土拉克“小区”与三区合并，并后为三区。1958年三区——图木舒克区改为图木舒克公社，即为巴楚县三公社。1965年场社合并，由自治区1958年7月成立的农垦厅巴楚总场与巴楚县三公社合并，为图木舒克垦区。1966年农三师成立。1969年2月，自治区决定将农垦厅图木休克总场（亦称巴楚总场）及其分场、小海子水库及水库管理处等划归农三师建制，随后农三师成为兵团少数民族最多的农业师。1975年5月26日，由喀什地区和农三师党委商定的交接方案中，决定成立地区革委会农垦局。1982年4月，以喀什地区农垦局为基础，恢复农三师建制。后经建制的变迁，农三师辖三个灌区和两个山地牧场，分别是小海子灌区、麦盖提灌区、喀什灌区、叶城牧场和托云牧场。
　　 图木舒克市所在地为原小海子垦区。垦区内肖尔河滩分场现为四十四团，齐干却勒分场现为五十二团，皮恰克分场现为五十三团，阿克塔姆分场现为五十一团，盖米里克分场现为工程团、四十九团，四分场和夏河分场为现在的五十团，即其盖麦旦镇。
　　 1997年中央为进一步加强新疆生产建设生产兵团工作，下发了中发［1997］17号文件，批准在农三师图木舒克垦区设立自治区直辖的县级市——图木舒克市。
　 　2002年9月17日，国务院国函〔2002〕82号文件正式批复设立县级图木舒克市，市人民政府驻齐干却勒（52团）。