Ruim voor de bouw van het Huis in de 17de eeuw was er al sprake van een versterkt Huys te Linschoten. Dat stond op een andere plek midden in het huidige dorp Linschoten en was volgens overlevering rond en van steen. In de 14de eeuw komt het in handen van de adellijke familie van Montfoort. Op de plek waar het huidige Huis te Linschoten staat, stond vroeger een boerderij met een lange oprijlaan. Een goede keuze om hier een kasteel te bouwen: vruchtbare rivierklei met boerdenbedrijven er omheen voor de inkomsten en de stad dichtbij voor het onderhouden van belangrijke sociale contacten.

Er lagen meer landgoederen langs de Lange Linschoten. De Utrechtse patriciër Johan Strick kocht eerst gronden in de omgeving om er in 1637 een versterkt huis met een gracht en een ophaalbrug te laten bouwen. In die tijd werden ook huizen in een klassieke stijl met versierde zuilen gebouwd. Strick koos voor een Middeleeuwse ridderhofstede met een vierkante plattegrond en twee slanke torens aan weerszijden van de entree. In de Zaal, de grootste kamer in het achterhuis, is een imposante schouw uit 1664. Die heeft wel klassieke losstaande zuilen. De portretten erboven zijn van de bouwer Johan Strick van Linschoten en zijn vrouw. 

De vierde generatie Strick van Linschoten liet het Huis ingrijpend verbouwen. Hun grote voorbeeld was Versailles en de Franse architectuur. De tuin was al eerder in Barokstijl aangelegd. De grootste verandering was de bouw van een extra verdieping in het voorhuis met een vaste brug naar een nieuwe zandstenen voorgevel. De oude hardstenen entree werd verplaatst naar het souterrain die via een buitentrap onder de brug een tweede ingang werd. De vaste kruisvensters in de gevel werden later vervangen door schuiframen. In de grote hal zijn de monogrammen te zien van de eigenaren uit die tijd Johan Hendrik Strick van Linschoten en zijn vrouw.

De zevende generatie Strick van Linschoten vroeg architect J.D. Zocher om een landschappelijk ontwerp voor het park te maken en het interieur te moderniseren. Hij ontwierp een neo-gotische schoorsteenmantel, gotische meubels en motieven voor de plafonds. Hij liet zich inspireren door de Engelse architectuur uit die tijd. De kleine ophaalbrug met gietijzeren leuningen is daar een mooi voorbeeld van. De laatste adellijke bewoner bouwde een klokkentoren met spits op de plaats van de dakkapel. Bij een restauratie in 1910 werd deze vervangen door een veel kleinere variant.

In 1891 kwam Linschoten in handen van de vermogende familie Ribbius Peletier. In het begin lieten zij alleen noodzakelijke reparaties aan het dak uitvoeren. Na verloop van tijd kregen ze meer visie en interesse in de architectuur van de gebouwen op het landgoed. Zij vroegen architect van der Kloot Meijburg om advies. Voor het Huis viel de keuze op het voegen van alle buitenmuren en het vervangen van dakgoten, kozijnen en luiken. Op het landgoed lieten zij een aantal nieuwe boerderijen en woonhuizen bouwen. Vanaf 1969 nam de Stichting het beheer over. Zij richtten zich vooral op het interieur door kamer voor kamer op te ruimen en de bijzondere elementen zo goed mogelijk tot hun recht te laten komen.