Remarquables et élégantes broderies de buis, les jardins à la française visibles aujourd'hui dès l'arrivée au château datent du début du 20ᵉ siècle. D'inspiration Le Nôtre, ils ont été dessinés à la demande des propriétaires par Henri Duchêne. Les jardins à la française d'origine se trouvaient de l'autre côté du château. Laissés à l'abandon durant la période de la Révolution, ils ont été remplacés dans les années 1830 par le parc à l'anglaise actuel.

Outre ses lignes élégantes et harmonieuses, le colombier du château présente le grand intérêt d'être dans son aspect d'origine, ce qui n'est pas si fréquent. En effet, la plupart des colombiers ont été détruits durant la Révolution à la fin du 18ᵉ siècle, car ils constituaient des symboles de l'Ancien régime. Seuls les aristocrates et les ordres religieux avaient le droit d'en posséder.

Celui de Balleroy, l'un des plus importants de Normandie, a conservé intacts ses 1700 "boulins" accueillant chacun deux pigeons. Soit un total de 3400 pigeons qui donnaient naissance à plus de 40 000 pigeonneaux par an et consommaient chaque année quelque 120 tonnes de blé. Outre leur chair délicate, les pigeons étaient élevés pour leurs fientes, la "colombine", qui était un fertilisant très recherché.

À l'intérieur du colombier, on peut encore admirer le mât vertical muni d'un pivot de fer à chaque extrémité, qui pouvait tourner aisément sur son axe et entraîner une échelle permettant d'atteindre les boulins les plus hauts.