Bauamt ist gar nicht so verkehrt, aber wir sollten von vorne anfangen...

Welches Bundesland?
Flächennutzungsplan eingesehen?
Bebauungsplan vorhanden und eingesehen?

Ordnungsamt verweist üblicherweise nur aufs Baumamt.