Els historiadors, basant-se en les restes arqueològiques trobades, creuen que els primers pobladors de les terres d'El Palomar, concretament de les partides de l'Alfardí i del Pla, van ser un grup de romans, agrícoles.

   Entre els segles II a. C. i VII d. C., amb les guerres púniques la comarca de la Vall d'Albaida de la què forma part El Palomar va ser una de les zones disputades pels estats de Roma i Cartago. A la fi va ser l'estat romà el que va guanyar la disputa, imposant la seua llei establint pactes amb les classes dirigents aborígens. Eren moments de creixent progrés agrícola, d'un avanç de la civilització, d'una nova llengua (llatí) i d'un nou model de societat urbana.

   És aleshores, segons els arqueòlegs, quan per les terres que actualment conformen El Palomar passava una via romana secundària que, provinent de l'urbs saetabensis buscava el port d'Albaida com accés natural a les montanyes. És l'antic camí ibèric que donava eixida i accés al poblat centre de la Covalta. Gràcies a estos assentaments s'han trobat ceràmiques de taula romana, de procedència hispànica, sudgàl·lica i africana i, inclús, fragments de ceràmica ibèrica.

   El domini de l'imperi romà a esta zona perdura fins al segle VIII. A les primeres dècades, la decadent monarquia visigòtica de Toledo es va esvair després dels primers combats amb els musulmans i, amb unes escases estructures de poder, les aristocràcies locals van preferir pactar amb el nou poder Omeya del llunyà califat de Damasc. A partir d'este moment s'instal·len en esta zona famílies minoritàries àrabs que habitaven i les famílies de guerrers nordafricans (berebers del Magreb).

   A l'any 740 estes dos famílies comencen a tenir problemes per la rebelió dels berebers contra l'autoritat califal. A la fi un exèrcit arribat des d'Orient penetra en al-Àndalus i posa fi al conflicte ètnic. A canvi, els llicenciats d'este exèrcit, coneguts com "jundins", s'estableixen per algunes províncies i zones com les terres d'El Palomar.

   Els historiadors tenen la teoria que aleshores s'assenta a l'horta d'El Palomar una instal·lació militar islàmica. Esta teoria es sustenta segons ells perquè, en primer lloc, els topònims Junda, del Barranc de la Junda, i l'Alfardí, de la partida, provenen dos noms àrabs: jundins (de l'àrab jund, que significa exèrcit) i alfadadí (de l'àrab fadan, que era una mesura d'extensió de terra). En segon lloc, defenen esta tesi pel reg de la séquia del Port, ja que es separa la compra-venda de l'aigua de la possessió i transmisió de la terra i este sistema de distribució social de l'aigua era característic de les zones de Iemen, al sud d'Aràbia. Els estudiosos l'atribueixen als jundins.

   Quan van arribar els nous pobladors berebers a estes terres, la població hispano-romana local estava totalment arabitzada en quant a la llengua, les modes, els costums i les formes de comportament. Per això, no els va costar gens  formar alqueries com la nostra, la qual estava regida per l'alcaide Alí Al-Kuxu.

   Al segle XIII, entre 1276 i 1327, va ser quan els historiadors consideren que es va fundar i consolidar El Palomar. Amb la conquesta de Jaume I, estes terres cauen en mans dels cristians. No obstant, els musulmans es van quedar durant un temps, fins que Jaume I va aprofitar el context d'una revolta islàmica generalitzada al sud del nou regne per buidar de sarraïns les zones més estratègiques com la nostra. L'objectiu va ser donar les terres als cristians, assegurant així el control efectiu de les vies de comunicació.

   Els moros que habitaven estes terres van ser víctimes de l'establiment definitiu de la nova vila cristiana d'Albaida i del repartiment de terres, ja que al 1248 van desaparéixer les nombroses alqueries andalusies que tenien. Era el fi de la civilització islàmica del Xarq Al-Àndalus.

   Els nous pobladors cristians, en el moment de la fundació del poble (cap al segle XIII), van adoptar el nom que els musulmans aborígens li van donar a estes terres (al Palombar), però catalanitzant-lo (el Palomar).

   Entre 1276 i 1277 es va produir una situació crítica que posa en perill l'èxit d'una colonització inicial basada en la línia de noves viles fortificades. Les poblacions cristianes de la ruta Xàtiva-Cocentaina-Xixona enregistren en estos moments un alt grau d'absentisme com a conseqüència dels perills de la revolta sarraïna i del precari arrelament dels primers pobladors. L'abandonament de moltes terres per part dels beneficiaris dels primers repartiments permetrà l'arribada de nous colons, esta vegada amb la intenció de trobar terres de cultiu i d'assentar-se definitivament. L'horta d'El Palomar va patir els efectes de la deserció massiva i moltes de les seues parcel·les es queden sense propietaris circumstancialment.

   A partir de 1278-1279 es pretén pal·liar la situació de semiabandonament o de desestabilització amb noves concesions, fundant pobles i viles. Es detecta aleshores certa tendència dels habitants de les viles a abandonar els recintes emmurallats i a establir-se a les hortes, aprofitant l'arribada de la pau. Encara així, abans de la revolta alguns colons d'Albaida ja s'havien establert en l'horta d'El Palomar i, per això, tornen ara que la situació està en calma.

   D'esta forma, les velles famílies que tenien terres des de 1248 s'uneixen a uns nouvinguts atrets per la refundació de noves viles com la de Montaverner. Així, l'aparició d'El Palomar està íntimament lligada a l'establiment feudal del nou poble de Montaverner.

   A principi de la dècada de 1280 s'instal·len llauradors, més sedentaris, interessats en assegurar-se un patrimoni familiar per sobreviure i transmetre'l als seus descendents. Són els vertaders colons, principalment catalans, i la seua arribada es vorà afavorida per uns nous monarques i per unes dècades de pau relativa i notable prosperitat i expansió econòmica.

   En este context es va situar l'establiment de la nova alqueria cristiana del Palomar. El nucli primigeni d'El Palomar va ocupar terres de regadiu i va substituir l'antic poblat andalusí, més dispers, per un únic nucli enmig del recinte verd que tancava la doble séquia. L'horta d'El Palomar va ser l'element que li va donar vida a la població, a més de ser un element de cohesió i dotar als pobladors d'un sentiment de col·lectivitat.

   Les cròniques dels segles XIII-XIV parlen del nou regne de València. En el seu interior, les comarques de més cap al sud com la nostra, es coneixien com La Frontera, una terra salvatge amb forta presència  relativa de tumults musulmans, allunyada de les terres d'origen dels colons i amb poca presència cristiana. En este moment, en la nostra vall habitaven: almogàvers, musulmans que no havien estat expulsats ni obligats a fugir i als que, teòricament, se'ls garantia una supervivència segura i el manteniment en propietat de les seues terres; i els moros desposseïts de les seues propietats durant la conquesta.

   Els almogàvers es dedicaven al pillatge i la búsqueda de beneficis fàcils en una economia de guerra. Eren camperols-guerrers desarraigats, agrupats per vincles de companyonia en el servici de les armes i percràriament vinculats al lloc on residien.

   El primer document que fa menció al Palomar data de 1327 i és una escriptura de venda de terres otorgada per Huguet Çespluga (el primer palomarenc conegut) en favor d'un comprador albaidí. Es parla ací d'una alqueria del Palomar, situada dins del terme de la vila cristiana d'Albaida, poblada per cristians.

   Al segle XIV es produeix un fet molt important per la consolidació d'El Palomar com a poble. A principi de 1348 hi havia 25 homes de guerra de Xàtiva capturats pels albaidins i retinguts dins de la vila. Des de la ciutat de Xàtiva es demana venjança, i per això 25 homes, dones i xiquets d'El Palomar van ser capturats per unes tropes que baixaven des de la planície de Jaume, per sorpresa i evitant ser vistos pels habitants de la vila d'Albaida. Tots van ser capturats com a ostatges pel senyor de Cocentaina i empresonats al castell de Xàtiva. Aproximadament al mes d'abril d'este mateix any es va establir una treva entre les viles i tots van ser alliberats. La tornada d'estes famílies captives va fer que El Palomar sobrevisquera com a poble durant segles. A partir d'este moment els nostres avantpassats van procurar tindre gossos per a que els avisaren en cas de noves sorpreses (fet del qual ve la dita: En Palomar trauen els gossos a cagar) i dormiren amb un ull obert i l'altre tancat, per si de cas.

   Durant el segle XIV, l'alqueria va créixer fins meréixer la qualificació jurídica i usual de "lloc" d'El Palomar.  Encara així, els primers palomarencs depenien per a quasi tot de la vida d'Albaida. Este primer Palomar és una menuda comunitat camperola, un conjunt de cases habitades per llauradors dedicats a l'agricultura i la ramaderia. L'horta era l'element que donava vida a la població. L'espai regat era fruit d'un disseny andalusí, objecte d'administració col·lectiva.

   A esta època la inestabilitat política regnava a estes terres de frontera amb el regne islàmic de Granada. Els palomarencs, amb unes defenses poc segures i a una planície sense visibilitat, van patir els efectes d'esta inestabilitat, amb enfrontaments amb musulmans, però també amb cristians que recorrien el camí real Xàtiva-Cocentaina.

   Documentadament, els palomarens mostren els seus primers desitjos d'independència en la segona mitad del Cinc-cents. És el 15 de desembre de 1603 quan D. Cristòbal II del Milà i Aragó, quart comte d'Albaida i primer marqués, va promulgar un privilegi pel que segregava el lloc de Palomar de la vila d'Albaida, l'eregia en universitat i li donava la categoria de baronia. La universitat es referia a un municipi de personalitat jurídica pròpia, jurisdicció i magistrats municipals. És aleshores quan arriba al Palomar l'ordre cristiana dels dominics, de la que es conserva la casa dels Frares.

   Estem ja al segle XVII quan es crea la universitat de Palomar, formada per un poblat dedicat ja poc a la ramaderia. Comencen les activitats artesanals: panader, fuster, carnicer, hostaler, obrers de la vila, teixidors de llançols caseres, lli i cànem i, inclús, un fabricant de pòlvora.

   Com a universitat, el Consell reivindica ràpidament la construcció d'un nou temple. El Consell es reunia a la Sala del Consell (antic Ajuntament recentment restaurat) a partir de 1673 i es va dotar d'una bandera, un segell i un tabal de guerra. També van nàixer aleshores i es van consolidar les festes. El Consell va instituir una festa per honrar una de les màximes personalitats locals: el venerable frare Joan Micó. Altres festes eren la de Sant Pere, patró de l'església; la tradicional de Corpus Christi; la Verge d'Agost; i la dels sants Abdó i Senén.

   Al segle XVIII, amb el decret de Nova Planta, El Palomar passa de Consell a Ajuntament, el que va provocar molts problemes amb el marquesat d'Albaida pel repartiment del dret de quartel, la conducció del ramat, l'impost de l'equivalent i de la tada, la contribució palomarense al deute de la vila d'Albaida anterior a la segregació, l'aigua de la séquia del Port o la delimitació dels termes jurídics, entre d'altres.

   Durant les guerres de succesió que enregistra la història espanyola, El Palomar va permanèixer independent sempre. En la primera Guerra Carlista va tindre lloc una acció destacable: una companyia de soldats que es va descolgar del destacament va ser ocultada pels veïns del Palomar en les seues cases sense que els carlistes els trobaren. Durant la Guerra de 1874 el guerriller Santes va visitar este poble deixant un mal record de les seues proeses, incendiant el Registre Civil i expoliant les cases.

   Durant tots estos segles, l'existència dels palomarencs va discórrer segons la monotonia succesió de les estacions. Els treballs agrícoles que les acompanyaven marcaven el ritme vital i donaven als habitants d'esta xicoteta localitat una mentalitat marcadament camperola: la inmensa majoria dels palomarencs eren llauradors. Açò es manté fins entrat el segle XX, quan poc a poc la localitat s'industrialitza i urbanitza fins convertir-se en el què és actualment.