Los historiadores, basándose en los restos arqueológicos hallados, creen que los primeros pobladores de las tierras del Palomar, concretamente de las partidas del Alfardí y del Pla, fueron un grupo de romanos, agrícolas.

   Entre los siglos II a.C. y VII d.C., con las guerras púnicas, la comarca de la Vall d'Albaida de la que forma parte El Palomar fue una de las zonas disputadas por los estados de Roma y Cartago. Al final fue el estado romano el que ganó la disputa, imponiendo su ley estableciendo pactos con las clases dirigentes aborígenes. Eran momentos de creciente progreso agrícola, de un avance de la civilización, de una nueva lengua (latín) y de un nuevo modelo de sociedad urbana.

   Es entonces, según los arqueológos, cuando por El Palomar pasaba una vía romana secundaria que, procedente de la urbs saetabensis buscaba el puerto de Albaida como acceso natural a las montañas. Es el antiguo camino ibérico que daba salida y acceso al poblado centro de la Covalta. Gracias a estos asentamientos se han encontrado cerámicas de mesa romana, de procedencia hispánica, sudgálica y africana e, incluso, fragmentos de cerámica ibérica.

   El dominio del imperio romano en esta zona perdura hasta el siglo VIII. En las primeras décadas, la decadente monarquía visigótica de Toledo se desvaneció después de los primeros combates con los musulmanes y, con unas escasas estructuras de poder, las aristocracias locales prefirieron pactar con el nuevo poder Omeya del lejano califato de Damasco. A partir de este momento se instalan en esta zona familias minoritarias árabes y las familias de guerreros norteafricanos (bereberes del Magreb).

   En el año 740 estas dos familias comienzan a tener problemas por la rebelión de los bereberes contra la autoridad califal. Al final un ejército llegado desde Oriente penetra en al-Àndalus y pone fin al conflicto étnico. A cambio, los licenciados de este ejército, conocidos como jundinos, se establecen por algunas provincias y zonas como El Palomar.

   Los historiadores tienen la teoría de que en este momento se asienta en la huerta del Palomar una instalación militar islámica. Esta teoría se sustenta según ellos porque, en primer lugar, los topónimos Junda (del barranco de la Junda) y el Alfardí (de la partida) provienen de dos nombres árabes: jundinos (del árabe jund, que significa ejército) y alfadadí (del árabe fadan, jovada, que era una medida de extensión de tierra). En segundo lugar, defienden esta tesis por el riego de la acequia del Puerto, ya que se separa la compra-venta del agua de la posesión y transmisión de la tierra y este sistema de distribución social del agua era característico de las zonas de Yemen, al sur de Arabia. Los estudiosos lo atribuyen a los jundinos.

   Cuando llegaron los nuevos pobladores bereberes, la población hispano-romana local estaba totalmente arabizada en cuanto a la lengua, las modas, las costumbres y las formas de comportamiento. Por ello, no les costó nada formar alquerías como la nuestra, la cual estaba regida por el alcaide Alí Al-Kuxu.

   En el siglo XIII es cuando los historiadores consideran que se fundó y consolidó El Palomar. Con la conquista de Jaime I, estas tierras caen en manos de los cristianos. No osbtante, los musulmanes se quedaron durante un tiempo, hasta que Jaime I aprovechó el contexto de una revuelta islámica generalizada en el sur del nuevo reino para vaciar de sarracenos las zonas más estratégicas, como esta. El objetivo fue dar las tierras a los cristianos, asegurando así el control efectivo de las vías de comunicación.

   Los moros palomarenses fueron víctimas del establecimiento definitivo de la nueva vila cristiana de Albaida y del reparto de tierras, ya que en 1248 desaparecieron las numerosas alquerías andalusíes que tenían. Era el fin de la civilización islámica del Xarq Al-Àndalus.

   Los nuevos pobladores catalanes, en el momento de la fundación del pueblo (hacia el siglo XIII), adoptaron el nombre que los musulmanes aborígenes le dieron a estas tierras (al Palombar), pero catalanizándolo (El Palomar).

   Entre 1276 y 1277 se produce una situación crítica que pone en peligro el éxito de una colonización inicial basada en la línea de nuevas vilas fortificadas. Las poblaciones cristianas de la ruta Játiva-Cocentaina-Jijona registran en estos momentos un alto grado de absentismo como consecuencia de los peligros de la revuelta sarracena y del precario arraigo de los primeros pobladores. El abandono de muchas tierras por parte de los beneficiarios de los primeros repartos permitirá la llegada de nuevos colonos, esta vez con intención de encontrar tierras de cultivo y de asentarse definitivamente. La huerta del Palomar sufre los efectos de la deserción masiva y muchas de sus parcelas se quedan sin propietarios circunstancialmente.

   A partir de 1278-1279 se pretende paliar la situación de semiabandono o de desestabilización con nuevas concesiones, fundando pueblos y vilas. Se detecta entonces cierta tendencia de los habitantes de las vilas a abandonar los recintos amurallados y a establecerse en las huertas, aprovechando la llegada de la paz. Aún así, antes de la revuelta algunos colonos de Albaida ya se habían establecido en la huerta del Palomar y, por eso, vuelven ahora que la situación se ha pacificado.

   De esta forma, las viejas familias que poseían tierras desde 1248 se unen a unos recién llegados atraidos por la refundación de nuevas vilas como la de Montaverner. Así, la aparición del Palomar está íntimamente ligada al establecimiento feudal del nuevo pueblo de Montaverner.

   A principios de la década de 1280 se instalaron labradores, más sedentarios, interesados en asegurarse un patrimonio familiar para sobrevivir y transmitirlo a sus descendientes. Son los verdaderos colonos, principalmente catalanes, y su llegada se verá favorecida por unos nuevos monarcas y por unas décadas de paz relativa y notable prosperidad y expansión económica.

   En este contexto se situó el establecimiento de la nueva alquería cristiana del Palomar. El núcleo primigenio del Palomar ocupó tierras de regadío y sustituyó el antiguo poblado andalusí, más disperso, por un único núcleo en medio del recinto verde que cerraba la doble acequia. La huerta del Palomar era el elemento que dió vida a la población, además de ser un elemento de cohesión y dotar a los pobladores de un sentimiento de colectividad.

   Las crónicas de los siglos XIII-XIV hablan del nuevo reino de Valencia. En su interior, las comarcas de más hacia el sur como la nuestra se conocían como La Frontera, una tierra salvaje con fuerte presencia relativa de tumultos musulmanes, alejada de las tierras de origen de los colonos y con una escasa presencia cristiana. En este momento, en nuestro valle habitaban: almogávares, musulmanes que no habían sido expulsados ni obligados a huir y a los que, teóricamente, se les garantizaba una segura supervivencia y el mantenimiento en propiedad de sus tierras; y los moros desposeídos de sus propiedades durante la conquista. Los almogávares se dedicaban al pillaje y la búsqueda de beneficios fáciles en una economía de guerra. Eran campesinos-guerreros desarraigados, agrupados por vínculos de compañerismo en el servicio de las armas y precariamente vinculados al lugar donde residían.

   El primer documento que hace mención al Palomar data de 1327 y es una escritura de venta de tierras otorgada por Huguet Çespluga (el primer palomarense que se conoce) en favor de un comprador albaidino. Se habla aquí de una alquería del Palomar, situada dentro del término de la vila cristiana de Albaida, poblada por cristianos.

   En el siglo XIV se produce un hecho muy importante para la consolidación del Palomar como pueblo. A principios de 1348 había 25 hombres de guerra de Xàtiva capturados por los albaidenses y retenidos dentro de la vila. Desde la ciudad de Játiva se pedía venganza, y por ello 25 hombres, mujeres y niños del Palomar fueron capturados por unas tropas que bajaban desde la planície de Jaume, por sorpresa y evitando ser vistos por los habitantes de la vila de Albaida. Todos fueron capturados como rehenes por el señor de Cocentaina y encarcelados en el castillo de Játiva. Aproximadamente en el mes de abril de este mismo año se estableció una tregua entre las vilas y todos fueron liberados. La vuelta de esta familias cautivas hizo que El Palomar sobreviviera como pueblo durante siglos. A partir de este momento nuestros antepasados procuraron tener perros para que les advirtieran en caso de nuevas sorpresas (hecho del que viene el dicho: En El Palomar trauen els gossos a cagar) y durmieron con un ojo abirto y otro cerrado, por si acaso.

   Durante el siglo XIV, la alquería creció hasta merecer la calificación jurídica y usual de "lugar" del Palomar. Aún así, los primeros palomarenses dependían para casi todo de la vida de Albaida. Este primer Palomar era una pequeña comunidad campesina, un conjunto de casas habitadas por labradores dedicados a la agricultura y ganadería. La huerta era el elemento que daba vida a la población. El espacio regado era fruto de un diseño andalusí, objeto de administración colectiva.

   En esta época la inestabilidad política reinaba en estas tierras de frontera con el reino islámico de Granada. Los palomarenses, con unas defensas poco seguras y en una planície sin visibilidad, sufrieron los efectos de esta inestabilidad, con enfrentamientos con musulmanes, pero también con cristianos que recorrían el camino real Játiva-Cocentaina.

   Documentadamente, los palomarenses muestran sus primeros deseos de independencia en la segunda mitad del Quinientos. Es el 15 de diciembre de 1603 cuando D. Cristobal II del Milá y Aragón, cuarto conde de Albaida y primer marqués, promulgó un privilegio por el que segregaba el lugar del Palomar de la vila de Albaida, la eregía en universidad y le daba la categoría de baronía. La universidad se refería a un municipio de categoría inferior al de vila y superior al de lugar porque, a diferencia de este, tiene personalidad jurídica propia, jurisdicción y magistrados municipales. Es en estos momentos cuando llega al Palomar la orden cristiana de los dominicos, de la que se conserva la casa dels Frares.

   Estamos ya en el siglo XVII cuando se crea la universidad del Palomar, formada por un poblado dedicado ya poco a la ganadería. Comienzan las actividades artesanales: panadero, carpintero, carnicero, hostalero, obreros de la vila, tejedores de sábanas caseras, lino y cáñamo e, incluso, un fabricante de pólvora.

   Como universidad, el Consejo reivindica enseguida la construcción de un nuevo templo. El Consejo se reunía en la Sala del Consejo (antiguo Ayuntamiento) a partir de 1673 y se dotó de una bandera, un sello y un tambor de guerra. También nacieron en este momento y se consolidaron las fiestas. El Consejo instituyó una fiesta para honrar una de las máximas personalidades locales: el venerable fraile Joan Micó. Otras fiestas eran la de San Pedro, patrón de la iglesia; la tradicional de Corpus Christi; la Virgen de Agosto; o la de los Santos Abdón y Senén.

   En el siglo XVIII, con el decreto de Nueva Planta, El Palomar pasó de Consejo a Ayuntamiento, lo que le provocó muchos problemas con el marquesado de Albaida por el reparto del derecho de cuartel, la conducción del ganado, el impuesto del equivalente y de la pechada, la contribución palomarense a la deuda de la vila de Albaida anterior a la segregación, el agua de la acequia del Puerto o la delimitación de los términos jurídicos, entre otros.

   Durante las guerras de sucesión que registra la historia española, El Palomar permanece independiente siempre. En la primera Guerra Carlista tuvo lugar una acción destacable: una compañía de soldados que se descolgó del destacamento fue ocultada por los vecinos del Palomar en sus casas sin que los carlistas los encontraran. Durante la Guerra de 1874 el guerrillero Santes visitó este pueblo dejando un mal recuerdo de sus azañas, incendiando el Registro Civil y expoliando las casas.

   Durante todos estos siglos, la existencia de los palomarenses discurrió según la monótona sucesión de las estaciones. Los trabajos agrícolas que les acompañaban marcaban el ritmo vital y daban a los habitantes de esta pequeña población una mentalidad marcadamente campesina: la inmensa mayoría de los palomarenses eran agricultores. Esto se mantiene hasta entrado el siglo XX, cuando poco a poco la localidad se industrializa y urbaniza hasta convertirse en lo que es hoy en día.