Juan Pizarro de Orellana era hijo de Hernando Alonso de Orellana y Aldonza de Hinojosa que acompañó a su pariente Francisco Pizarro al Perú después que este recibiera de la reina Juana la Loca las Capitulaciones para la conquista en Toledo. Juan Pizarro fue el primer corregidor del Cuzco volviendo a Trujillo lleno de riquezas (después de que Almagro asesinara a su jefe, amigo y pariente Francisco. Pizarro).

En el acta de repartición realizada el 17 de Junio de 1533 se cita: "A don Juan Pizarro de Orellana, marcos de plata 362, pesos de oro 8.980...", algo así como 1.811.025 reales de plata con veinte céntimos. Llegó rico. Lo primero que hizo al llegar a Trujillo fue comprarle la casa-fuerte a Diego de Vargas e iniciar su futuro genealógico.

Se casó con Estefanía Pizarro de Tapia, señora de Magasquilla, que parió a Fernando de Orellana Pizarro, este Fernando conecta directamente con los Pizarro Conquistadores al casarse con Francisca Pizarro Mercado, la hija que tuvo Hernando con su primera mujer Isabel Mercado, por lo que los hijos de este matrimonio: Juan Pizarro de Orellana que hereda el mayorazgo, Hernando Pizarro de Orellana y Estefanía de Orellana y Tapia son nietos de Hernando Pizarro y sobrinos nietos de Francisco Pizarro.

Este detalle permitirá seis generaciones después a su descendiente Agustín de Orellana Pizarro y Orense conseguir el marquesado de la Conquista por no haber tenido descendencia Luisa Vicenta Pizarro y Fernández de Somoza con su marido Diego de Guevara, últimos marqueses descendientes de Francisco Pizarro y la princesa inca Inés Huaylas Yupanqui. Por otro lado Estefanía de Orellana y Tapia se casó con su tío Francisco Pizarro Pizarro y si hubieran tenido descendencia se habrían unido las ramas de las dos mujeres de Hernando: Isabel Mercado y Francisca Pizarro Yupanqui, Estefanía era nieta de aquella y su esposo hijo de esta.

En el invierno de 1582 se hospedó en la casa don Miguel de Cervantes Saavedra, desde Portugal caminaba hacia Madrid acordándose de sus anfitriones en la obra "Trabajos de Persiles y Segismunda.

La tercera generación que nace aquí son dos niños y una niña, Juan y Fernando Pizarro Orellana; el primero sigue el mayorazgo, Fernando se convierte en Comendador de Bétera (Calatrava), fue aficionado a las letras escribiendo el libro "Varones Ilustres", no paraba en Trujillo. Juan Pizarro Orellana se casó en 1598 con María, una hija de Álvaro Luis Altamirano y andando los tiempos se unió su sangre con los Barrantes, Bejarano, Monroy, vizcondes de Amaya, marqueses de Liseda...

Fernando de Orellana Pizarro sigue la rama con su primera mujer María de Barrantes Paredes y Grado que trae al Mundo a Juan de Orellana Pizarro y Barrantes que se casa con Clara Bejarano y Orellana, tienen a Fernando María de Orellana Pizarro Bejarano, Juan muere en 1663. Fernando María de Orellana Pizarro Bejarano se casa con Jerónima de Torres Monroy muere en 1724 sucediéndoles su hijo Fernando María de Orellana Pizarro y Torres Monroy que casado con Antonia Orense y Moctezuma, hija vizconde Amaya, tienen a Agustín de Orellana Pizarro y Orense al que le cae el marquesado de la Conquista por haberse cortado la línea en la otra rama al morir sin descendencia las dos hermanas y últimas marquesas de la Conquista por la línea directa del Gran Marqués y conquistador del Perú, Bernarda y Luisa Vicenta Pizarro Fernández de Somoza que muere en 1756.

Agustín Orellana y su esposa Catalina de Contreras y Ulloa es muy posible que fuesen los últimos habitantes en esta casa fuerte que su antepasado Juan Pizarro de Orellana comprara a los Vargas cuando vino del Perú en 1533; el siguiente descendiente Jacinto Orellana Pizarro y Contreras casado con Bárbara de la Plata Quintano se fue a vivir al palacio de la Conquista en la Plaza Mayor donde nacería su hijo Agustín de Orellana Pizarro de la Plata padre de Jacinto de Orellana Pizarro y Díaz cuya historia sigue al seleccionar el Palacio de la Conquista.

La casa quedó deshabitada y el 12 de Diciembre de 1851 don Jacinto Orellana Pizarro y Díaz, marqués de la Conquista, vende el edificio medio arruinado a don Segundino Fernández de la Pelilla, un santanderino de Hinojedo que es vecino de Trujillo por cuatro mil reales de vellón. El 29 de Enero de 1883 la viuda de don Segundino vendió la casa por 13.250 pesetas a don Francisco Mancebo Martín. Esta familia será quien revenda el edificio el 19 de Marzo de 1921 a doña Antonia Godínez, la reverenda madre fundadora de las religiosas Hijas de los Dolores de María Inmaculada que aquí conocemos como las monjas del Sagrado Corazón, comunidad que es propietaria del palacio por transmisión de la propiedad realizada el 28 de Marzo de 1942.

Esta comunidad tiene aquí la Casa Central de su Orden con noviciado y casas repartidas en diversas localidades de España y América. Además regentan un colegio de enseñanza general básica y otro de bachillerato