Считалось, что саффолкская панч-хорс произошла от средневековой «великой лошади», которую привез в Англию Вильгельм Завоеватель. Первоначально они были выведены для работы на ферме, особенно в Норфолке и Саффолке на востоке Англии. Фермеры специально разводили их для фермерской жизни из-за их выносливости и готовности работать, поэтому изначально на рынке их было не так много. Их также очень часто использовали в соревнованиях по вьючным лошадям.
